Aki keresőoptimalizálással kezd el foglalkozni, az elsők között találkozik olyan kifejezésekkel mint a találati lista, a Google algoritmus, a SEO, a kulcsszavak, a kulcsszósűrűség, a tartalommarketing vagy a külső link erősség.
Azonban nem szabadna megfeledkeznünk a Google robotjairól sem, amik pásztázva az internetet gyűjtik a hasznos információkat, melyek alapján megítéltetik, hogy weboldalunk egy-egy kifejezésre milyen pozícióba kerül majd a keresések során.
A Google pásztázó aktivitását azonban csak nagyon kevesen monitorozzák weboldalukon, pedig rendkívül hasznos információ lehet, ha tudjuk, mikor járt a Google utoljára az oldalunkon. Ha logoljuk ezeket a látogatásokat, olyan fontos kérdésekre kaphatunk választ mint, hogy mennyi ideig nézte az oldalunkat a Google, milyen időközönként tér vissza hozzánk és mely tartalmakat nézegeti esetleg gyakrabban.
Hasznosak lehetnek ezek az információk például weboldalak összevonásakor, hibák javításakor vagy egy nagyobb frissítés alkalmával, hogy megtudjuk, vajon a Google látta-e már az eszközölt fejlesztéseket.
A legtöbb webmester nem naplózza a Google robotok látogatásait
Noha előszeretettel használjuk a Google Search Console-t, mégsem kimondottan arra való, hogy kiderítsük, a Google botjai mikor milyen műveleteket hajtottak végre az oldalainkon és mennyi ideig jártak nálunk. Noha egy-egy URL-ből valóban hasznos információkat meríthetünk az ingyenes Google eszköz segítségével, mégis gyorsabb és hasznosabb adatokhoz juthatunk ha saját naplózást végzünk.
A saját logolással ugyanis nem csak a keresőóriás botjainak munkásságát ellenőrizhetjük le, hanem más webes robotok tevékenységeiről is átfogó képet kaphatunk. Érdekesség, hogy régebben – a Google Analytics előtti időkben – még a statisztikai adatokat is ilyen naplófájlokkal nyerték ki az oldal tulajdonosai. A szerver log fájlokból olyan hasznos információkat tudhatunk meg, hogy van-e olyan új, vagy frissített tartalmunk, amit a Google még nem látott, vagy mikor és milyen oldalakat pásztázott utoljára a keresőóriás botja. De a kártékony botokat is kiszűrhetjük és a terheléses támadásokra is fény derülhet a segítségükkel.
Szerver naplózás a Googlebot crawling aktivitás ellenőrzésére
A szerver log fájl egy olyan állomány, amelyet a webszerver hoz létre és állandóan frissít amikor valamilyen interakció történik az oldalunkon, legyen szó felhasználói eseményről vagy internetes robotok látogatásáról. Ebben a naplófáljban rögzítésre kerül, hogy ki, mikor és milyen oldalakat, URL-eket látogatott meg és mennyi ideig tartózkodott ott. Még az osztott felhasználós tárhelyeken is megtalálható ez a funkció, amely a CPanelen keresztül érhető el.
Általában napokra bontva találjuk meg a korábbi naplózásokat ZIP állományba tömörítve. Ezeket bármilyen logfálj elemzővel megtekinthetünk. Ilyen, ajánlott program a Screaming Frog Log Analyser is, amelybe egy-két kattintással importálhatjuk a logokat és elemezhetjük azok tartalmát. Így kiszűrhetjük például, hogy a Google Search Console-ban van olyan URL-ünk, amit a GoogleBot még soha nem is látott. Emellett az applikációban szép grafikonokat és Excellbe exportálható csv fájlokat is készíthetünk statisztikáinkról. Érdemes tanulmányozni az adatokat!
