Creazione indicizzatore automatico

Benvenuto sul Forum PW
Cosa aspetti? Registrati subito! E' semplice e gratuito e risolvi subito i tuoi problemi!

Creazione indicizzatore automatico

Modalità discussione

Modalità lineare

05-05-2008, 21:56

Messaggio: #1 (permalink)

Damiano

Apprendista

Registrato: Apr 2008
Messaggi: 42
Reputazione:

Ciao a tutti,

"diciamo" che ho creato un motore di ricerca, peri' come ho fatto io perche' solo cosi' ho saputo fare e' inserire manualmente gli url, descrizione e titolo dei siti nel mio database.

Ma voglio cambiare metodo, voglio creare un indicizzatore automatico, che inserisce il titolo, descrizione e url delle pagine web nel database, questo indicizzatore avra' un nome, un proprio ip e ricerche pianificate nel web rispettando sempre i meta tags delle pagine.

Mi dite come posso fare tutto questo NON a pagamento?

Grazie,
Ciao...

Il mondo tutto free --> http://www.tuttofree.net
Il forum tutto free --> http://www.tuttofree.net/forum/
Scambio contatti msn tutto free --> http://www.tuttofree.net/contatti-msn/

05-05-2008, 22:23

Messaggio: #2 (permalink)

Demon

Super Moderatore

Registrato: Nov 2006
Messaggi: 364
Reputazione:

RE: Creazione indicizzatore automatico

Conosco solo questo io http://www.sphider.eu/

Ci puoi smanettare su e personalizzarlo o crearne uno tu a partire da questo

zanzara mannara

05-05-2008, 22:49

Messaggio: #3 (permalink)

Damiano

Apprendista

Registrato: Apr 2008
Messaggi: 42
Reputazione:

RE: Creazione indicizzatore automatico

Ma la struttura del motore di ricerca l'ho fatta, vorrei che indicizza in automatico, peri' voglio fare proprio io con codice php, non con preconfezionati, peri' chiedendovi aiuto, cioe' indicizzando le pagine in modo pianificato.

Come faccio?

Grazie,
Ciao...

Il mondo tutto free --> http://www.tuttofree.net
Il forum tutto free --> http://www.tuttofree.net/forum/
Scambio contatti msn tutto free --> http://www.tuttofree.net/contatti-msn/

05-05-2008, 22:58

Messaggio: #4 (permalink)

Giuseppe

Super Moderatore

Registrato: Sep 2007
Messaggi: 246
Reputazione:

RE: Creazione indicizzatore automatico

Non ho ben capito cosa devi fare...
Ti serve realizzare uno spider?

Vuoi collaborare col furum PW?
Se sei interessato puoi contattare privatamente un moderatore o un amministratore ciao

SERP Analyzer 2
3D Box Creator[puoi collaborare anche tu!!!]
Tool per creare le tue sitemap

05-05-2008, 23:27

Messaggio: #5 (permalink)

Damiano

Apprendista

Registrato: Apr 2008
Messaggi: 42
Reputazione:

RE: Creazione indicizzatore automatico

Infatti il problema piu' peggiore e' che non mi so spiegare

Allora ho creato un motore di ricerca con php/mysql, nel database c'e' una tabella con tre campi: url, titolo e descrizione.

Allora ogni volta che voglio inserire un sito nel motore di ricerca lo aggiungo dal phpmyadmin.

Ma dato che su questo pianeta i siti sono molto assai, non voglio mica inserirli uno a uno

e quindi voglio creare un indicizzatore automatico con php/mysql che "fa il mio lavoro" di memorizzare i siti nel database.

Semplice, no? Come faccio?

Grazie,
Ciao...

Il mondo tutto free --> http://www.tuttofree.net
Il forum tutto free --> http://www.tuttofree.net/forum/
Scambio contatti msn tutto free --> http://www.tuttofree.net/contatti-msn/

05-05-2008, 23:40

Messaggio: #6 (permalink)

Giuseppe

Super Moderatore

Registrato: Sep 2007
Messaggi: 246
Reputazione:

RE: Creazione indicizzatore automatico

Damiano ha scritto:

Semplice, no? Come faccio?

a dirsi... a fari un pi' meno...

Vorresti inserire quindi tutti i siti che esistono nel tuo database? Vuoi prendere il posto di Google...

In via di principio, devi:
1) Dare l'indirizzo di una pagina;
2) Cercare tutti i link in quella pagina (espressioni regolari);
3) eseguire il primo punto per tutti i link trovati nel punto 2.
e cosi' via...

Vuoi collaborare col furum PW?
Se sei interessato puoi contattare privatamente un moderatore o un amministratore ciao

SERP Analyzer 2
3D Box Creator[puoi collaborare anche tu!!!]
Tool per creare le tue sitemap

Ultima modifica di Giuseppe : 05-05-2008 alle ore 23:40.

05-05-2008, 23:43

Messaggio: #7 (permalink)

gokufg

Amministratore

Registrato: Oct 2006
Messaggi: 2,303
Reputazione:

RE: Creazione indicizzatore automatico

Giuseppe ha scritto:

Non ho ben capito cosa devi fare...
Ti serve realizzare uno spider?

Sembra proprio che cerchi uno spider

Damiano prova a dare un'occhiata agli script offerti da html: clicca qui

Quelli sono degli spider gia' pronti, per farne uno da zero credo ti serva vedere come sono stati realizzati. Oppure puoi anche usare uno di quelli

Facci sapere

Finito il seo contest zanzara mannara: complimentati con i vincitori del SEO contest wink

Ecco la SERP: zanzara mannara
Presentati al Forum PW se ancora non l'hai fatto

06-05-2008, 18:01

Messaggio: #8 (permalink)

Damiano

Apprendista

Registrato: Apr 2008
Messaggi: 42
Reputazione:

RE: Creazione indicizzatore automatico

Nono, non voglio script prefatti, l'idea di Giuseppe mi ha scatenato nel cervello un grosso meccanismo di cui ne so fare una parte, peri' l'altra parte, la piu' importante, non la so fare tanto bene.

So che per cercare i link in una pagina c'e' una funzione e per inserirli nel database si fa cosi':

while($link = funzione dei link che non so qual e') {

mysql_query("La query che inserisce i dati nel database");

}

Mi sapete dire che mettere al posto di "funzione dei link che non so qual e'"?

Grazie,
Ciao...

Il mondo tutto free --> http://www.tuttofree.net
Il forum tutto free --> http://www.tuttofree.net/forum/
Scambio contatti msn tutto free --> http://www.tuttofree.net/contatti-msn/

06-05-2008, 18:44

Messaggio: #9 (permalink)

Giuseppe

Super Moderatore

Registrato: Sep 2007
Messaggi: 246
Reputazione:

RE: Creazione indicizzatore automatico

Se $link e' un array di stringhe, potresti far cosi':

Codice PHP:

for($i=0;i<count($link);i++){
echo ($link[$i]); //stampo tutti i link
} 

Con questo, non sei nemmeno allo 0,1% di tutto il lavoro.
Se non ti documenti per bene, nel senso che se non sai utilizzare il php per bene, e' meglio lasciar perdere... o basarsi su script gia' fatti.
Come, del resto, ti e' gia' stato consigliato!

Vuoi collaborare col furum PW?
Se sei interessato puoi contattare privatamente un moderatore o un amministratore ciao

SERP Analyzer 2
3D Box Creator[puoi collaborare anche tu!!!]
Tool per creare le tue sitemap

Ultima modifica di Giuseppe : 06-05-2008 alle ore 18:45.

06-05-2008, 21:44

Messaggio: #10 (permalink)

Damiano

Apprendista

Registrato: Apr 2008
Messaggi: 42
Reputazione:

RE: Creazione indicizzatore automatico

allora per il while ci pensiamo dopo...

voglio sapere come fare per impostare una pagina iniziale al mio bot anche con un $_GET e poi php trova tutti i link delle pagine e visita le pagine prelevando titolo, descrizione e url, come faccio?

Grazie,
Ciao...

Il mondo tutto free --> http://www.tuttofree.net
Il forum tutto free --> http://www.tuttofree.net/forum/
Scambio contatti msn tutto free --> http://www.tuttofree.net/contatti-msn/

06-05-2008, 22:17

Messaggio: #11 (permalink)

Giuseppe

Super Moderatore

Registrato: Sep 2007
Messaggi: 246
Reputazione:

RE: Creazione indicizzatore automatico

Damiano ha scritto:

allora per il while ci pensiamo dopo...

while o for e' la stessa cosa.

Damiano ha scritto:

voglio sapere come fare per impostare una pagina iniziale al mio bot anche con un $_GET e poi php trova tutti i link delle pagine e visita le pagine prelevando titolo, descrizione e url, come faccio?

Vorresti sapere cosa?
Intendi la pagina di partenza? pui' essere qualunque, anche una del tuo sito...

Damiano, vorrei farti ragionare su quello che stai cercandi di (farci) realizzare...
E' come se io andassi da un muratore e gli chiedessi: "come devo fare per costruirmi una casa?"
Secondo te, il muratore cosa ti risponderebbe?

Vuoi collaborare col furum PW?
Se sei interessato puoi contattare privatamente un moderatore o un amministratore ciao

SERP Analyzer 2
3D Box Creator[puoi collaborare anche tu!!!]
Tool per creare le tue sitemap

06-05-2008, 22:23

Messaggio: #12 (permalink)

Damiano

Apprendista

Registrato: Apr 2008
Messaggi: 42
Reputazione:

RE: Creazione indicizzatore automatico

Allora faccio cosi', vedo qualche script e copio qualche cosa cosi' ne faccio io uno vedendo suggerimenti da preconfezionati, come suggerito da gokufg.

Per il fatto del muratore, lui mi risponderebbe: "Te la faccio io"

Ciao...

Il mondo tutto free --> http://www.tuttofree.net
Il forum tutto free --> http://www.tuttofree.net/forum/
Scambio contatti msn tutto free --> http://www.tuttofree.net/contatti-msn/

06-05-2008, 22:28

Messaggio: #13 (permalink)

Giuseppe

Super Moderatore

Registrato: Sep 2007
Messaggi: 246
Reputazione:

RE: Creazione indicizzatore automatico

Bravo! vedo che hai capito...

Damiano ha scritto:

Per il fatto del muratore, lui mi risponderebbe: "Te la faccio io"

Ovviamento, pagando...

Se vuoi "l'indicizzatore" te lo faccio io

Ciao

Vuoi collaborare col furum PW?
Se sei interessato puoi contattare privatamente un moderatore o un amministratore ciao

SERP Analyzer 2
3D Box Creator[puoi collaborare anche tu!!!]
Tool per creare le tue sitemap

06-05-2008, 22:36

Messaggio: #14 (permalink)

gokufg

Amministratore

Registrato: Oct 2006
Messaggi: 2,303
Reputazione:

RE: Creazione indicizzatore automatico

Giuseppe ha scritto:

Bravo! vedo che hai capito...
Ovviamento, pagando...

Se vuoi "l'indicizzatore" te lo faccio io

Facciamo l'anti-Google? Icon_eyes

Finito il seo contest zanzara mannara: complimentati con i vincitori del SEO contest wink

Ecco la SERP: zanzara mannara
Presentati al Forum PW se ancora non l'hai fatto

06-05-2008, 23:34

Messaggio: #15 (permalink)

Damiano

Apprendista

Registrato: Apr 2008
Messaggi: 42
Reputazione:

RE: Creazione indicizzatore automatico

gokufg ha scritto:

Facciamo l'anti-Google?

Gia'... quello che voglio fare...

Comunque apparte gli scherzi, ho scaricato uno script da html e ho copiato il codice che inserisce i dati nel database, ho provato con due siti a inserirli, mi e' esploso il database

Comunque vi posto il codice:

Codice PHP:

<?php

    function get_links($content,$url)  {
            $found=array();
            $l=0;

            for ($i=0; $i<count($content); $i++)  { // >
                    $line=split(" ",$content[$i]);

                    for ($j=0; $j<count($line); $j++)  { // >
                            if (strstr($line[$j],"<a") && strstr($line[$j+1],"href="))  {  // ">
                                    $link=split('"',$line[$j+1]);

                                    if (!strstr($link[1],"http://"))  {
                                            $fields=split("/",$url);
                                            $root="http:/";

                                            for ($k=2; $k<count($fields)-1; $k++) // >
                                                    $root=$root."/".$fields[$k];

                                            $link[1]=$root."/".$link[1];
                                    }

                                    $found[$l++]=$link[1];
                            }
                    }
            }

            return $found;
    }
    
/////////////////////////////////////////////////////////

$db = mysql_connect("host", "username", "password") or die(mysql_error());
mysql_select_db("dbname", $db) or die(mysql_error());

// Definizione dell'url iniziale
$url = $_GET['sito'];



$st = 8;

for ($k=0; $k<$st; $k++)  {
echo "<h1 align=\"center\">Risultati</h1>\n";

if ($k>0)  {
for ($i=0; $i<count($found[$k-1]); $i++)  { // >
$url = $found[$k-1][$i];
$fp = fopen($url,"r");

if ($fp==null)  {
echo "<b>Errore nella lettura del file ".$url."</b>\n";
fclose($fp);
} else {
fclose($fp);
$found[$k] = get_links(file($url),$url);
echo "<h3>Links trovati in <b>".$url."</b>:</h2>\n";
echo "<ul>\n";

for ($j=0; $j<count($found[$k]); $j++)  { // >

$query = "INSERT INTO ricerca (descrizione,url,titolo) values(\"".$found[$k-1][$i]."\",\"".$found[$k][$j]."\",1)";

                                           mysql_query ($query) or die("Invalid query: $query\n");
                                            echo '<li><a href="'.$found[$k][$j].'">'.$found[$k][$j].'</a></li>\n';
                                    }

                                    echo "</ul>\n";
                            }
                    }
            } else {
                    $fp=fopen($url,"r");

                    if ($fp==null)
                            die ("Error reading from $url\n");
                    fclose($fp);

                    $found[$k]=get_links(file($url),$url);

                    echo "<h2>Links found inside $url:</h2>\n";
                    echo "<ul>\n";

                    for ($i=0; $i<count($found[$k]); $i++)  { // >
$query = "INSERT INTO ricerca (descrizione,url,titolo) values('".$url."','".$found[$k][$i]."',1)";

                            mysql_query ($query) or die("Invalid query: $query\n");
          echo '<li><a href="'.$found[$k][$i].'">'.$found[$k][$i]."</a></li>\n";
}
echo "</ul>";
}
}

mysql_close($db);

?>

Quello che mi fa' e' che inserisce questo nei campi:

- nel campo url inserisce l'url completo di http:// e mi va bene;
- nel campo descrizione mi scrive l'url iniziale dato da $_GET['sito']
- nel campo titolo scrive il numero 1 (non so perche' )

Sapete come rimediare e far scrivere nel campo descrizione la descrizione della pagina e nel campo titolo il titolo della pagina?

[/php]

Grazie,
Ciao...

Il mondo tutto free --> http://www.tuttofree.net
Il forum tutto free --> http://www.tuttofree.net/forum/
Scambio contatti msn tutto free --> http://www.tuttofree.net/contatti-msn/

07-05-2008, 12:36

Messaggio: #16 (permalink)

Giuseppe

Super Moderatore

Registrato: Sep 2007
Messaggi: 246
Reputazione:

RE: Creazione indicizzatore automatico

Per la descrizione, basta cercare la stringa tra le due stringhe delimitatrici:

Codice PHP:

<meta name="description" content="

Codice PHP:

Peri' devi considerare che possono essere scritte anche in maiuscolo, o con qualche spazio in piu' o in meno...
Per il titolo, devi fare un procedimento analogo... ovvero devi ricavarti la stringa tra il delimitatore <title> e </title>...

Vuoi collaborare col furum PW?
Se sei interessato puoi contattare privatamente un moderatore o un amministratore ciao

SERP Analyzer 2
3D Box Creator[puoi collaborare anche tu!!!]
Tool per creare le tue sitemap

07-05-2008, 13:53

Messaggio: #17 (permalink)

Damiano

Apprendista

Registrato: Apr 2008
Messaggi: 42
Reputazione:

RE: Creazione indicizzatore automatico

Ecco lo so, comunque cercare title non e' un problema, ma i tag di descrizione se non ci sono allora voglio che il mio "bot" ricorra a prendere un po' di testo dalla pagina. Come faccio per title e la descrizione prendendo dai meta tags se ci sono o altrimenti un po' di testo dalla pagina?

Grazie,
Ciao...

Il mondo tutto free --> http://www.tuttofree.net
Il forum tutto free --> http://www.tuttofree.net/forum/
Scambio contatti msn tutto free --> http://www.tuttofree.net/contatti-msn/

Discussioni simili
Discussione:		Autore	Risposte:	Letto:	Ultimo messaggio
	Creare php automatico	Damiano	7	207	24-05-2008 01:45 Ultimo messaggio: Giuseppe
	Creazione Script page rank meter	izzyweb	27	676	13-08-2007 05:08 Ultimo messaggio: Namaless

Creazione indicizzatore automatico

Guarda versione stampabile
Invia la discussione a un amico
Sottoscrivi la discussione
Aggiungi discussione alle favorite

Regole di Scrittura

Tu non puoi inserire nuovi messaggi.
Tu non puoi rispondere ai messaggi.
Tu non puoi inviare messaggi.
Tu non puoi modificare i tuoi messaggi.

Il codice HTML è Disattivato.
Il codice MyCode è Attivato.
Gli Smilies sono Attivato.
Il codice [IMG] Attivato.

Vai al Forum:

Data e Ora attuale: 24-07-2008, 11:47