Apple внесла очень большие изменения в Документация Applebot после мероприятия Apple WWDC, на котором Apple анонсировала Apple Intelligence. Apple добавила дополнительную информацию об Applebot, сведениях об обратном DNS, Applebot-Extended и многом другом.

Чтобы внести ясность, Applebot не нов, ему около десяти лет, но теперь, с появлением Apple Intelligence, я думаю, Apple становится более серьезной в этом вопросе? Модификация документа была внесена 11 июня, на следующий день после выступления Apple.

Важным выводом из AI-стороны Applebot является то, что Apple добавила Applebot-Extended, аналогичный Googlebot-Extended, для целей AI. Как отметил Гленн Гейб в Икс Пятница: «Вы можете заблокировать Applebot-Extended. Таким образом, вы можете отказаться от подписки через robots.txt -> Apple заявляет, что не обучает свои модели на личных данных или взаимодействии с пользователем, а вместо этого полагается на лицензированные материалы и общедоступные онлайн-данные.

Многое изменилось, но вот часть Applebot-Extended:

Помимо соблюдения всех правил и рекомендаций robots.txt, у Apple есть дополнительный пользовательский агент Applebot-Extended, который дает веб-издателям дополнительный контроль над тем, как Apple может использовать контент их веб-сайта.

С помощью Applebot-Extended веб-издатели могут отказаться от использования контента своего веб-сайта для обучения основным моделям Apple, обеспечивающим генеративные функции искусственного интеллекта в продуктах Apple, включая разработку Apple Intelligence, Services и Tools.

Вы можете добавить правило в robots.txt, чтобы запретить Applebot-Extended, следующим образом:

Пользовательский агент: Applebot-Extended Disallow: /private/

Applebot-Extended не сканирует веб-страницы. Веб-страницы, на которых запрещен Applebot-Extended, могут по-прежнему включаться в результаты поиска. Applebot-Extended используется только для определения того, как использовать данные, анализируемые пользовательским агентом Applebot.

Включение Applebot-Extended поможет со временем улучшить возможности и качество генеративных моделей искусственного интеллекта Apple.

Apple также добавила следующие новые разделы:

Встречайте Applebot, веб-сканера Apple.

Данные, анализируемые Applebot, используются для поддержки различных функций, таких как технология поиска, встроенная во многие пользовательские интерфейсы в экосистеме Apple, включая Spotlight, Siri и Safari. Включение Applebot в файле robots.txt позволяет контенту веб-сайта появляться в результатах поиска этих продуктов пользователями Apple по всему миру.

Applebot получает доступ ко многим типам ресурсов с веб-серверов, включая, помимо прочего, файл robots.txt, карты сайта, RSS-каналы, HTML, субресурсы, необходимые для отображения страниц, таких как JavaScript, запросы Ajax, изображения и т. д.

Другой метод — сопоставить IP-адрес с префиксом CIDR, содержащимся в следующем файле JSON: Applebot IP CIDR.

Обратный DNS

В macOS команду хоста можно использовать, чтобы определить, является ли IP-адрес частью Applebot. В этих примерах показана команда хоста и ее вывод:

Команду хоста можно использовать, чтобы определить, является ли IP-адрес частью Applebot. В этих примерах показана команда хоста и ее вывод:

$ хост 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com имеет адрес 17.58.101.179.

Команду хоста также можно использовать для проверки того, что DNS указывает на тот же IP-адрес:

Пользовательские агенты

Пользовательский агент помогает веб-мастерам идентифицировать трафик ботов, чтобы они могли получать точные отчеты журнала доступа об активности ботов и контролировать доступ к сайту через robots.txt.

Applebot поддерживает несколько пользовательских агентов, включая поиск и подкасты.

Исследовать

Для сканирования и рендеринга поисковой сети Applebot использует следующий формат:

Строка пользовательского агента содержит «Applebot» и другую информацию. Вот общий формат:

Mozilla/5.0 (Устройство; версия_ОС) AppleWebKit/WebKit_версия (KHTML, например Gecko)Версия/Safari_версия [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Apple Подкасты

Трафик iTMS также может исходить от хостов applebot.apple.com и будет идентифицироваться следующим пользовательским агентом:

Пользовательский агент: iTMS

Пользовательский агент iTMS не следует за файлом robots.txt, поскольку он не является обычным поисковым ботом. Он сканирует только URL-адреса, связанные с контентом, записанным в Apple Podcasts.

Как я уже сказал, между нами произошло много изменений. старая версия и Новая версия.

ЧИТАТЬ   Масимо готов вести переговоры с Apple о снятии запрета на продажу часов в США

Вы можете сравнить два документа в своем любимом инструменте сравнения текстов.

СТАРЫЙ:

О старом Applebot

НОВЫЙ:

О Applebot Новинка

Обсуждение на форуме по адресу Икс.

Source

От admin