Řešit boty má cenu! Správným nastavením přístupu botů můžete výrazně upravit rychlost webu a jeho bezpečnost. Boti přistupují na váš web neustále. V některých případech i desítky botů v jednom okamžiku, stovky až tisíce prošlých stránek za vteřinu.
Menší weby a eshopy obvykle řešit boty vůbec nemusí. Bot přistoupí na web a během pár vteřin projde cely web, eshop. Zátěž webu na server se krátkodobě zvýší a zas hned klesne.
Rozsáhlé weby a eshopy jsou však problém. Bot přistoupí na web nebo eshop a zahájí indexaci webu, která může trvat pár minut, ale také i pár hodin, dokonce i dnů. Zátěž webu na server se zvýší a teoreticky neustále stoupá až do nedostupnosti serveru. Klasickým příkladem jsou eshopy, nepoužívajicí cache, s více jak 100 000 produkty. Dobře postavený eshop obvykle nezpůsobí velkou zátěž a indexace botem projde hravě. I tak může nastat problém, pokud se takových botů vyskytne více naráz.
