Ce este Robots.txt

Robots txt Robots txt este un fișier text care permite unui site web să ofere instrucțiuni roboților care accesează cu crawlere web. Motoarele de căutare precum Google folosesc aceste crawlere web, numite uneori