Ce este: Robots txt

Ce este: Robots txt

Robots txt Robots txt este un fișier text care permite unui site web să ofere instrucțiuni roboților care accesează cu crawlere web. Motoarele de căutare precum Google folosesc aceste crawlere web, numite uneori roboți web, pentru arhivarea și clasificarea site-urilor web. Majoritatea roboților sunt configurați pentru a căuta un fișier robots.txt pe server înainte ca …

Citește mai mult…Ce este: Robots txt