Semalt: Kas ir Googlebot?



  1. Ievads
  2. Kas ir Googlebot?
  3. Kāpēc vajadzētu uztraukties par Googlebot?
  4. Kāpēc Googlebot dažās vietnēs neizmeklē visas lapas?
  5. Kā optimizēt savu vietni, lai palielinātu Googlebot budžetu
  6. Secinājums

Ievads

Vai jūs zināt, kā Google atrod resursus jūsu meklēšanai? Kā plaši tiek uzskatīts, Google nav visaptverošs gars, kas zina, kas ir viss tiešsaistes saturs. Tas nav kaut kāds ekstrasenss, kurš zina, kur ir precīza atbilde uz jūsu jautājumu.

Tāpat kā jebkurai citai meklētājprogrammai, tai ir programmatūra, kas katru sekundi pārmeklē miljardiem lapu (un vietņu), lai savāktu informāciju; iegūstiet satura vērtību un tā tēmu. Tā ka, veicot meklēšanu, atbilde tiek ņemta no šīm lapām - līdzīgi kā bibliotēka.


Tas izklausās pēc SEO, un tas ir tāpēc, ka tam ir daudz kas. Ja vietne tiek optimizēta efektīvi, Google to ātri ierauga, izlasa tās lapas un atver to, kad meklētājprogrammā tiek veikti saistīti meklējumi.

Bet tas nenotiek visām vietnes lapām, veidojot dažas lapas neredzams pasaulei. Kāpēc tas notiek? Un ko pret to var darīt (īpaši attiecībā uz ļoti svarīgām lapām)? Šeit ir rokasgrāmata, kurā sīki izklāstīts viss par Google vietņu rāpuļprogrammu (Googlebot), kāpēc tā nepārmeklē pietiekami daudz lapu un kā vietnes īpašnieks var izmantot vietnes optimizāciju un SEO, lai maksimāli palielinātu Googlebot pārmeklēšanas budžetu.

Kas ir Googlebot?



Zirneklis! Kāpurķēde! Šie ir populāri Googlebot nosaukumi. Tas ir tāpēc, ka tas tādā veidā darbojas. Programmatūra ir izveidota, lai pārmeklētu un pārlūkotu miljardiem vietņu lapu, kas ir publicētas sabiedrībai.

Tieši tā - ja vietne paliek privāta, Googlebot vienkārši nevar skenēt tās lapas, atcerieties, ka zirneklis nav psihisks. Tas vienkārši seko lapu saitēm (no vienas lapas uz otru), pēc tam turpina datu apstrādi. Kad tas ir pabeigts, informācija tiek apkopota rādītājā (viegli atcerēties kā Goggle bibliotēku vai veikalu).

Šīs programmatūras dēļ Google var apkopot un uzkrāt vairāk nekā miljona gigabaitu (GB) informāciju mazāk nekā sekundē (labi - tagad tā ir maģija). Tad no šī regulāri atjauninātā rādītāja Google izvelk resursus katrai tiešsaistes meklēšanai gan galddatorā, gan mobilajā ierīcē.

Kāpēc būtu jāuztraucas par Googlebot?

Googlebot pārmeklēšanai ir daudz sakara ar vietnes SEO (meklētājprogrammas optimizācija). Visa zirnekļa būtība ir apkopot informāciju no vietnes lapām, lai, veicot meklēšanu par saistītām tēmām, tā varētu parādīt lapu kā vienu no tiešsaistes meklēšanas rezultātiem. Tāpēc, kad Googlebot pastāvīgi pārmeklē lielāko daļu vietnes lapu, palielinās redzamība, kā rezultātā palielinās vietnes datplūsma (kas ir viens no mērķiem?).

Izmantojiet šo ilustrāciju:

X ir vietne ar lapu par tēmu: profesionāls SEO vietnēm. Un Y meklē vietnes SEO. Ja Googlebot ir pārmeklējis X lapu par SEO un ir to indeksējis, tas būtu viens no rezultātiem, kas parādās Google meklēšanas rezultātos. Tas pats notiktu arī ar citiem saistītiem meklējumiem, pat ja tas notiek simts reizes dienā visā pasaulē.

Ņemiet vērā, ka tam ir arī citi pasvītrojoši faktori, piemēram, laba vietnes struktūra, salīdzināms un ātrs vietnes ielādes laiks. Bet tikai an SEO eksperts var palīdzēt nodrošināt, ka šīs darbības tiek veiktas pareizi un vai vietnes lapa tiek parādīta Google meklēšanas rezultātu pirmajā lapā.


Kāpēc Googlebot dažās vietnēs neizmeklē visas lapas?

Vienā no Google SEO biroja stundu Hangouts sesijām tika uzdots jautājums, kāpēc Googlebot dažās vietnēs nepārmeklē pietiekami daudz lapu. Tīmekļa serverī ir publiski publicēti vairāk nekā simtiem miljardu lapu. Cilvēki katru dienu serverī publicē jaunu lapu, kas nozīmē, ka Googlebot var rādīt vairāk lapu. Tomēr dažreiz robots neatbilst gaidītajam; tas ir; uzkrāt vairāk nekā miljonu GB informācijas mazāk nekā sekundē. Ir vairāki iemesli, kāpēc tas varētu notikt.

Pirmkārt, iespējams, ka tiešsaistē ir pārāk daudz satura, lapu un vietņu, lai tās varētu indeksēt. Un daži no tiem ir zemas kvalitātes, citiem ir lēns vietnes ielādes ātrums, bet pārējiem var būt neatbilstošs saturs ar sarežģītu vietnes struktūru (vai jebkas cits, kas ir pretrunā ar labu lietotāja pieredzi). Tāpēc Google izveidoja stratēģiju, lai indeksētu tikai augstas kvalitātes tīmekļa lapas un izslēgtu zemākas kvalitātes lapas. Tādā veidā lapas var filtrēt un samazināt (nevis indeksēt visas lapas tiešsaistē - gan vērtīgās, gan nenovērtējamās).

Bet iepriekš minētais pilnībā neatbild uz jautājumu: Kāpēc Googlebot neizmeklē visas vietnes? Interesējošais jautājums drīzāk ir tas, kāpēc Googlebot neizmeklē visas vietnes lapas (vai pietiekami daudz lapu). Un uz to ir divas atbildes. Garā un īsa atbilde:

Īsa atbilde

Google katras vietnes pārmeklēšanai dienā piešķir noteiktu resursu un laika daudzumu. To sauc par vietnes pārmeklēšanas budžetu. Tāpēc robots veic savu darbu, pārmeklējot un indeksējot šo budžetu. Tātad vietnei, kurā ir vairāk nekā desmit tūkstoši lapu, ne visas lapas tiktu indeksētas.

Tomēr šeit ir vairāk, kas noved pie garas atbildes:

Garā atbilde


Pārmeklēšanas budžets nosaka lapu skaitu, ko Googlebot var pārmeklēt un indeksēt vienā vietnē katru dienu. Bet, kā minēts iepriekš, šajā jautājumā ir daudz vairāk. Daži faktori nosaka zirnekļa tempu, pārmeklējot katru vietni pārmeklēšanas budžeta ietvaros. Vai ir jēga? Tas nozīmē, ka, lai gan budžets ir radījis ierobežojumu, daži faktori var vai nu paātrināt, vai palēnināt robota tempu. Tajos ietilpst:
  1. Lēns serveris: Ja servera reakcijas laiks ir ievērojami lēns, tas var mainīt ātrumu, kādā robots pārmeklē katru lapu pārmeklēšanas budžeta ietvaros. Vietņu īpašnieki to var pārbaudīt savā pārmeklēšanas statistikas pārskatā. Ieteicams, ka viss, kas pārsniedz 300 milisekundes, nav labs reakcijas laiks.
  2. Vietnes servera saimnieks: Ja vietne tiek mitināta koplietotā serverī, tas var palēnināt katras lapas rādīšanas ātrumu Google pārmeklēšanas laikā. Tas ir tāpēc, ka citas vietnes tajā pašā serverī, iespējams, palēnina to, izmantojot lielus resursus. Tas ir vēl sliktāk, ja viens un tas pats serveris mitina daudzas vietnes.
  3. Sarkanie roboti: Tie ir citi roboti, kas var traucēt, bloķēt vai palēnināt Googlebot darbības. Tie var būt dažādās formās, un dažreiz vietnei ir nepieciešama profesionāla palīdzība, lai pārvaldītu un kontrolētu šo robotu darbības.
  4. Vietnes pārmeklējamība: Šī ir rāpuļprogrammas piekļuve visām vietnes lapām. Ja programmatūrai ir vienkārša piekļuve vietnes saturam, daudzas lapas tiks pārmeklētas un indeksētas pārmeklēšanas budžeta ietvaros.

Kā optimizēt savu vietni, lai palielinātu Googlebot budžetu


Iepriekšējā sadaļā mēs apspriedām faktorus, kas nosaka, cik ātri (vai cik lēni) Googlebot pārmeklē lapu. Taču cilvēks var darīt vairāk, lai maksimāli palielinātu to lapu skaitu, kuras robots pārmeklē budžeta ietvaros. Īsumā, šeit ir dažas lietas, ko vietnes īpašnieks var darīt, lai maksimāli palielinātu to lapu skaitu, kuras Googlebot pārmeklē un indeksē rāpuļprogrammas budžeta ietvaros dienā.
  1. Izstrādājiet vietnes karti: Šī ir viena no lietām, ko var darīt, lai palīdzētu Googlebot ātrāk pārmeklēt vietni. Vietnes karti var instalēt, ģenerēt no vietnes karšu ģeneratora vai izveidot no nulles.
  2. Ieguldiet vietnes organizācijā: Tas ir saistīts ar vietnes struktūru un vietnes lapu kategorizēšanu. Ja vietne ir strukturēta tā, lai apmeklētāji varētu viegli saprast un pārvietoties, ir liela varbūtība, ka Googlebot būs viegli to pārmeklēt.
  3. Vietnes optimizācija: Tas apkopo visus iepriekš minētos punktus. Kad vietne tiek pastāvīgi optimizēta (pareizajā veidā), vietnes saskarne tiks pareizi strukturēta un tiks izveidota vietnes karte. Citas lietas ietver kontroli pār faktoriem, kas bloķē pārmeklēšanu (piemēram, robots.txt), virsrakstu optimizāciju, satura lasāmību, satura vērtību un daudz ko citu. Pareiza vietnes optimizēšana palīdzēs Googlebot ātrāk skenēt šādas vietnes lapas.

Secinājums

Googlebot var uzskatīt par mazu interneta robotu, kas strādā Google. Tas apņem lapu saņemšanu no tīmekļa servera, izmantojot saites uz vietnēm. Pēc tam tā izskata katru lapu un pievieno to indeksētās informācijas kolekcijai. Tomēr vairāku faktoru un mainīgo dēļ robots nevar pārmeklēt visas katras vietnes lapas (patiesībā dažreiz ar to nepietiek). Un no visiem minētajiem faktoriem un risinājumiem vienkāršākais risinājums ir nolīgt tādu profesionālu uzņēmumu kā Semalt kas var darīt visu nepieciešamo pareizajā veidā un īstajā laikā, lai nodrošinātu, ka svarīgas jūsu vietnes lapas tiek pārmeklētas un indeksētas, ja ne visas lapas.

mass gmail