Apple опубликовала информацию о поисковом роботе Applebot, анализирующем содержимое страниц в интернете подобно Google. Applebot представляет собой «поискового паука», используемого в некоторых продуктах компании, включая Siri и Spotlight.
Информация в первую очередь предназначается для владельцев сайтов: теперь их будет посещать не только боты от Google, «Яндекса» и других поисковых систем, но и «паук» от Apple, собирающий разные данные. Администраторы могут запретить Applebot получать информацию, указав ограничение в файле robots.txt, однако делать это необязательно: Apple будет следовать правилу, прописанному для робота Google, если не указано иначе, пишет tjournal.ru.
Начать дискуссию