- Регистрация
- 9 Май 2015
- Сообщения
- 1,071
- Баллы
- 155
- Возраст
- 52
ИИ-компании нередко обвиняют в том, что они игнорируют инструкции в файлах robots.txt и скрапят любой контент без разбора, при этом создавая большую нагрузку на сайты. Для борьбы с этим явлением начали появляться ловушки для ИИ-краулеров.