robots.txt Archiv

Bár idehaza a Bing alacsony kereső piaci részesedése miatt keveseket érint, de jó tudni, hogy 2010. október 1-től a korábbi MSNBot nyugdíjba vonul, és jön helyett a BingBot. A szerverlogokban ezentúl ezeket látjuk majd: Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm) A HTTP headerben pedig a régi From: msnbot(at)microsoft.com helyett ezentúl ezt látjuk majd From: bingbot(at)microsoft.com Érdemes átfutni tehát a robots.txt-ket, .htaccess-eket és META ROBOT leírókat. (robots.txt-k esetében egyelőre vizsgálják még a régi MSNBot-os beállításokat is egy ideig.) Ezentúl tehát ha pl. tiltani akarjuk a BingBot-ot, akkor ezt kell írnunk a robots.txt User-Agent mezőjéhez: User-agent: bingbot Fontos még az is, hogy néhány hete [&hellip

Tovább...

Ezentúl még egyszerűbben és még több formátumban bpcsáthatunk sitemap-et a Google részére a Google Webmaster Tool-on keresztül. A továbbiakban nem kell már a sitemap típusát sem megadnunk, a rendszer automatikusan detektálja. (És tényleg megcsinálja!) De mi is az a sitemap? A Sitemap egy egyszerű megoldás a webmastereknek a keresők felé publikálni indexelésre szánt oldalaik elérhetőségét. Egyszerűbben a Sitemap egy XML formátumu file ami URL-eket tartalmaz kapcsolódó háttérinformációkkal (utolsó módosítás, frissítés gyakorisága, milyen priorítással bír viszonylagosan a többi oldalhoz képest), amely segíti a keresőknek a hatékonyabb indexelést weboldalunkon. Ezentúl még egyszerűbben és még több formátumban bpcsáthatunk sitemap-et a Google részére a [&hellip

Tovább...

A Google WebmasterCentral blogján jelent meg, hogy mostantól a fiókunk alatt, az üzenetközpontban értesítést kapunk arról, ha a Google a site indexelése során úgynevezett “Infinite Space” jelenséggel találkozik. (A Message Center – Üzenetközpont, a Google Webmaster Tools-ba belépve, jobb oldalon fent érhető el.) Az Infinite Space az a jelenség, amikor a crawler olyan linkekbe fut bele, amiket gyakorlatilag a végtelenségig tud követni, pl. egy kalendárium “következő hónap” linkje. Az itt található tartalmak(?) ugye gyakorlatilag semmilyen értéket nem képviselnek, és csak az erőforrást rabolják, ezért a Google az elkövetkezendőkben értesítést küld, ha ilyet talál az oldalunkon. Ha pedig megjött az értesítés, [&hellip

Tovább...