Editarea robots.txt

Fisierul robots.txt va permite sa limitati Crawlerii web. Acest lucru este dorit in momentul in care unui crawleri acceseaza agresiv siteul sau in momentul in care doriti ca anumite resurse ale siteului sa nu fie indexate de catre motoarele de cautare.

 

Fisierul robots.txt se poate crea fie folosind File Manager-ul din cPanel fie folosind un client FTP. Acesta se creeaza in radacina siteului iar continutul acestuia trebuie sa fie de forma:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /xmlrpc.com
Disallow: /wp-login.php

User-agent: ExaBot
Disallow: /
User-agent: Sosospider
Disallow: /

 

Unde:

la “User-agent:“ – se completeaza numele botului pentru care doriti sa setati limitari.

Daca setati * regulile se vor aplica pentru toti crowleri.

 

la “Disallow:” – se completeaza locatia la care crawler-ul nu are access.

Daca aici setati / crowlerul nu are acces la site.