google bandbreedte probleem

[anoniem]

Ik was vandaag wat door mijn server stats aan het kijken, dat die ik niet zo vaak, en zag in de laatste maanden een enorme toename aan verkeer. Tot aan mei schommelde het tussen 1 en 3 Gig. Maar juni schoot het omhoog naar 33.87 Gig en juli zit momenteel op 64.92 Gig. Omdat ik nieuwsgierig ben hoe dit kan (en eventueel in te grijpen als dat nodig is) ben ik wat verder de site-stats ingedoken en zag daar dat de google spider verantwoordelijk is voor deze toename. [img:939ba713e4]http://bayimg.com/image/eachbaaco.jpg[/img:939ba713e4] Leuk natuurlijk dat google zo verheugd is over mijn websites, maar het staat in geen verhouding met de rest van de bezoekers. Nu vraag ik me af wat een handige en functionele manier is om het in te perken. In een robots.txt kun je voor zover ik weet geen interval aangeven. De revisit-after metatag is ook discutabel, omdat die denk ik te vaak misbruikt is en daarmee minder waarde heeft voor een zoekmachine. Deze site heeft ook een sitemap.xml en de waarden daar staan allemaal op weekly en/of monthly.

[anoniem]

Google webmaster tools aanmelden en de crawl speed aanpassen zodat hij er heel lang over doet kan.... Maar vermoedelijk levert dat evenveel dataverkeer op alleen dan over een langere tijd. Misschien in robots.txt frequence op changed monthly/yearly zetten ofzo? Wellicht blijft hij dan weg ^^.