Kender Googlebot

Googlebot er en robot, der giver dig mulighed for at spore nettet af Google, er også kendt som Google -edderkoppen. På denne måde opdager systemet de nye sider, der er blevet indekseret til dets database, hvor de opdateres, og det indarbejdes tilbage i Google -indekset.
Google bruger en stor mængde computerudstyr til at gennemgå milliarder af sider, der distribueres på Internettet. Det er baseret på en algoritmisk sporingsproces, hvor computerprogrammer bestemmer de websteder, der skal spores, samt hyppigheden og antallet af sider, der skal søges på hvert websted. Processen begynder med en liste over tidligere genererede websider, som udvides baseret på dataene fra de sitemaps, som webmasterne inkorporerer. Googlebot registrerer linkene ved hvert besøg, du foretager på disse websteder, og tilføjer dem til listen over sider, der skal gennemsøges. Systemet registrerer nye websteder, ændringer foretaget i eksisterende og links, der er forældede, og opdaterer derefter Google -indekset.
Sådan får Googlebot adgang til webstedet
Googlebot du har normalt ikke adgang til websteder mere end én gang og i et par sekunder. Generelt downloader systemet kun en kopi af hver side, hvis du downloader den samme side flere gange, skyldes det sandsynligvis, at crawleren stoppes og genstartes.
Googlebot distribueres på flere computere, plus nogle af edderkopperne kører fra computere, der er placeret i nærheden af ​​de websteder, de indekserer. Det kan være, at sidelogfiler viser besøg fra flere computere som bruger-agent.
Målet er at gennemgå det største antal sider på et websted ved hvert besøg, du foretager uden at bryde serverens båndbredde.
Systemet finder websteder via linkene på deres sider. I tilfælde af sporingsfejl kan de ses i webmasterværktøjerne fra Google. Det viser de problemer, der er stødt på, når et websted gennemsøges. Det er en god idé regelmæssigt at kontrollere eventuelle crawlfejl, der måtte opstå for at identificere og rette dem.
Da de IP-adresser, der håndteres af Googlebot, har en tendens til at variere fra tid til anden, er det ideelle at bruge robotten "user-agent" (Googlebot). Google -edderkoppen respekterer retningslinjerne i robots.txt -filen, men ondsindede brugere følger dem muligvis ikke.