{"id":13094,"date":"2026-11-20T10:00:00","date_gmt":"2026-11-20T08:00:00","guid":{"rendered":"https:\/\/chyzh.agency\/?p=13094"},"modified":"2026-11-12T13:15:11","modified_gmt":"2026-11-12T11:15:11","slug":"dostup-ai-kraulerov","status":"publish","type":"post","link":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/","title":{"rendered":"\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443: robots.txt, \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430"},"content":{"rendered":"<p>\u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442. \u0414\u043e\u0441\u0442\u0443\u043f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442 \u0432 \u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u043b\u043e\u044f: robots.txt \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u043f\u0440\u0430\u0432\u0438\u043b\u0430 CDN \u0438 \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430, \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0438 \u0441\u0432\u0435\u0440\u043a\u0430 IP \u0441 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u043f\u0438\u0441\u043a\u0430\u043c\u0438 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c. \u041e\u0434\u043d\u043e\u0433\u043e robots.txt \u043c\u0430\u043b\u043e. \u041d\u0430 9 \u0438\u0437 39 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 12 \u043d\u043e\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430, \u0444\u0430\u0439\u043b \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u043b ClaudeBot, \u043d\u043e \u0441\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 \u044d\u0442\u043e \u0438\u043c\u044f \u043e\u0442\u0432\u0435\u0447\u0430\u043b 403, 429, 503 \u0438\u043b\u0438 \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u043b \u0432\u043e\u0432\u0441\u0435.<\/p>\n<p>\u041a\u043e\u0433\u043e \u043f\u0443\u0441\u043a\u0430\u0442\u044c, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0446\u0435\u043b\u0438. \u041e\u0442 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0431\u043e\u0442\u043e\u0432 \u0438 \u0431\u043e\u0442\u043e\u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u0442, \u0441\u043c\u043e\u0436\u0435\u0442 \u043b\u0438 \u0418\u0418-\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u0438 \u043f\u0440\u043e\u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443. \u0411\u043e\u0442\u044b \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u0441\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0430\u0432 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0431\u043e\u0442\u043e\u0432 \u043f\u043e \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430\u043c, \u0447\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 30 \u0434\u043d\u0435\u0439 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u0432 \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u0430\u0439\u0442\u0430 chyzh.agency, \u0438 \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438.<\/p>\n<h2>\u0422\u0440\u0438 \u0440\u043e\u043b\u0438 \u0418\u0418-\u0431\u043e\u0442\u043e\u0432: \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u043f\u043e\u0438\u0441\u043a \u0438 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/h2>\n<p>\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442 \u0431\u043e\u0442\u043e\u0432 \u043f\u043e \u0437\u0430\u0434\u0430\u0447\u0430\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0430\u0436\u0434\u0443\u044e \u0440\u043e\u043b\u044c \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0438\u043b\u0438 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u043e\u0439 \u0432 robots.txt.<\/p>\n<ul>\n<li><strong>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/strong> \u0411\u043e\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: GPTBot \u0443 OpenAI, ClaudeBot \u0443 Anthropic, meta-externalagent \u0443 Meta. \u0423 Google \u0438 Apple \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u044b \u0431\u0435\u0437 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430: Google-Extended \u0438 Applebot-Extended.<\/li>\n<li><strong>\u041f\u043e\u0438\u0441\u043a.<\/strong> \u0411\u043e\u0442 \u0441\u0442\u0440\u043e\u0438\u0442 \u0438\u043d\u0434\u0435\u043a\u0441, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0418\u0418-\u043f\u043e\u0438\u0441\u043a \u0431\u0435\u0440\u0435\u0442 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0441\u043e \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438: OAI-SearchBot \u0434\u043b\u044f ChatGPT, Claude-SearchBot, PerplexityBot. OpenAI <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=_blank>\u043f\u0438\u0448\u0435\u0442 \u043f\u0440\u044f\u043c\u043e<\/a>: \u0441\u0430\u0439\u0442\u044b, \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u0434\u043b\u044f OAI-SearchBot, \u043d\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043e\u0442\u0432\u0435\u0442\u0430\u0445 \u043f\u043e\u0438\u0441\u043a\u0430 ChatGPT, \u0440\u0430\u0437\u0432\u0435 \u0447\u0442\u043e \u043a\u0430\u043a \u043d\u0430\u0432\u0438\u0433\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438.<\/li>\n<li><strong>\u0417\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/strong> \u0411\u043e\u0442 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443, \u043a\u043e\u0433\u0434\u0430 \u043e \u043d\u0435\u0439 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0432 \u0447\u0430\u0442\u0435: ChatGPT-User, Claude-User, Perplexity-User. OpenAI \u0438 Perplexity \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u044e\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c robots.txt. Anthropic <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=_blank>\u043f\u0438\u0448\u0435\u0442<\/a>, \u0447\u0442\u043e \u0432\u0441\u0435 \u0442\u0440\u0438 \u0435\u0435 \u0431\u043e\u0442\u0430 robots.txt \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442.<\/li>\n<\/ul>\n<p>\u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0443\u0442\u0430\u043d\u0438\u0446\u044b \u0432\u043e\u043a\u0440\u0443\u0433 Google. \u041f\u043e <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=_blank>\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 Google<\/a> (\u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0430 30.10.2026), Google-Extended \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c Gemini \u0438 \u043f\u043e\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0432 Gemini Apps \u0438 Vertex AI (grounding). \u041d\u0430 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0430\u0439\u0442\u0430 \u0432 \u041f\u043e\u0438\u0441\u043a\u0435 \u043e\u043d \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442. \u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0441\u0441\u044b\u043b\u043a\u043e\u0439 \u0432 AI Overviews \u0438\u043b\u0438 AI Mode, \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 <a href=\"https:\/\/developers.google.com\/search\/docs\/appearance\/ai-features\" target=_blank>\u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u041f\u043e\u0438\u0441\u043a\u0430<\/a> \u0438 \u0438\u043c\u0435\u0442\u044c \u043f\u0440\u0430\u0432\u043e \u043d\u0430 \u0441\u043d\u0438\u043f\u043f\u0435\u0442, \u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u044d\u0442\u0438\u043c Google \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0434\u043b\u044f Googlebot \u0438 \u0434\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u044b nosnippet, max-snippet, noindex. \u0417\u0430\u043a\u0440\u044b\u0442\u044c Googlebot \u0440\u0430\u0434\u0438 \u044d\u0442\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u0438\u0441\u0447\u0435\u0437\u043d\u0443\u0442\u044c \u0438\u0437 \u041f\u043e\u0438\u0441\u043a\u0430.<\/p>\n<h2>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u0431\u043e\u0442\u043e\u0432 \u043f\u043e \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430\u043c<\/h2>\n<p>\u0421\u0432\u0435\u0440\u0435\u043d\u043e \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c HTML \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 12.11.2026, \u0434\u0430\u0442\u044b \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u0445 \u0432 \u043a\u043e\u043d\u0446\u0435.<\/p>\n<figure class=\"wp-block-table\">\n<table>\n<thead>\n<tr>\n<th>\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430<\/th>\n<th>\u0411\u043e\u0442<\/th>\n<th>\u0420\u043e\u043b\u044c<\/th>\n<th>robots.txt \u043f\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/th>\n<th>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 IP<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>OpenAI<\/td>\n<td>GPTBot<\/td>\n<td>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442<\/td>\n<td><a href=\"https:\/\/openai.com\/gptbot.json\" target=_blank>gptbot.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>OpenAI<\/td>\n<td>OAI-SearchBot<\/td>\n<td>\u043f\u043e\u0438\u0441\u043a ChatGPT<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442, \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u0434\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0437\u0430 24 \u0447<\/td>\n<td><a href=\"https:\/\/openai.com\/searchbot.json\" target=_blank>searchbot.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>OpenAI<\/td>\n<td>ChatGPT-User<\/td>\n<td>\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/td>\n<td>\u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u00ab\u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f\u00bb<\/td>\n<td><a href=\"https:\/\/openai.com\/chatgpt-user.json\" target=_blank>chatgpt-user.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Anthropic<\/td>\n<td>ClaudeBot<\/td>\n<td>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 Crawl-delay<\/td>\n<td><a href=\"https:\/\/claude.com\/crawling\/bots.json\" target=_blank>bots.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Anthropic<\/td>\n<td>Claude-SearchBot<\/td>\n<td>\u043f\u043e\u0438\u0441\u043a Claude<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442<\/td>\n<td>\u0442\u043e\u0442 \u0436\u0435 \u0441\u043f\u0438\u0441\u043e\u043a<\/td>\n<\/tr>\n<tr>\n<td>Anthropic<\/td>\n<td>Claude-User<\/td>\n<td>\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442<\/td>\n<td>\u0442\u043e\u0442 \u0436\u0435 \u0441\u043f\u0438\u0441\u043e\u043a<\/td>\n<\/tr>\n<tr>\n<td>Perplexity<\/td>\n<td>PerplexityBot<\/td>\n<td>\u043f\u043e\u0438\u0441\u043a, \u043f\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442, \u0434\u043e 24 \u0447<\/td>\n<td><a href=\"https:\/\/www.perplexity.ai\/perplexitybot.json\" target=_blank>perplexitybot.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Perplexity<\/td>\n<td>Perplexity-User<\/td>\n<td>\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/td>\n<td>\u00ab\u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442\u00bb<\/td>\n<td><a href=\"https:\/\/www.perplexity.ai\/perplexity-user.json\" target=_blank>perplexity-user.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Google<\/td>\n<td>Googlebot<\/td>\n<td>\u041f\u043e\u0438\u0441\u043a, \u0432\u043a\u043b\u044e\u0447\u0430\u044f AI Overviews \u0438 AI Mode<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442<\/td>\n<td><a href=\"https:\/\/developers.google.com\/static\/crawling\/ipranges\/common-crawlers.json\" target=_blank>common-crawlers.json<\/a>, DNS *.googlebot.com<\/td>\n<\/tr>\n<tr>\n<td>Google<\/td>\n<td>Google-Extended<\/td>\n<td>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 Gemini \u0438 grounding<\/td>\n<td>\u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u043d\u0435\u0442<\/td>\n<td>\u043d\u0435 \u043d\u0443\u0436\u043d\u0430<\/td>\n<\/tr>\n<tr>\n<td>Google<\/td>\n<td>Google-Agent<\/td>\n<td>\u0430\u0433\u0435\u043d\u0442\u044b Google \u043f\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/td>\n<td>\u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442<\/td>\n<td><a href=\"https:\/\/developers.google.com\/static\/crawling\/ipranges\/user-triggered-agents.json\" target=_blank>user-triggered-agents.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Apple<\/td>\n<td>Applebot<\/td>\n<td>Siri, Spotlight, Safari; \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0439\u0442\u0438 \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442; \u0431\u0435\u0437 \u0441\u0432\u043e\u0435\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u0431\u0435\u0440\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 Googlebot<\/td>\n<td><a href=\"https:\/\/search.developer.apple.com\/applebot.json\" target=_blank>applebot.json<\/a>, DNS *.applebot.apple.com<\/td>\n<\/tr>\n<tr>\n<td>Apple<\/td>\n<td>Applebot-Extended<\/td>\n<td>\u0437\u0430\u043f\u0440\u0435\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 Apple<\/td>\n<td>\u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d, \u0441\u0430\u043c \u043d\u0435 \u0441\u043a\u0430\u043d\u0438\u0440\u0443\u0435\u0442<\/td>\n<td>\u043d\u0435 \u043d\u0443\u0436\u043d\u0430<\/td>\n<\/tr>\n<tr>\n<td>Meta<\/td>\n<td>meta-externalagent<\/td>\n<td>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044f<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442<\/td>\n<td>\u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0435\u0442<\/td>\n<\/tr>\n<tr>\n<td>Meta<\/td>\n<td>meta-webindexer<\/td>\n<td>\u043f\u043e\u0438\u0441\u043a Meta AI<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442<\/td>\n<td>\u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0435\u0442<\/td>\n<\/tr>\n<tr>\n<td>Meta<\/td>\n<td>meta-externalfetcher<\/td>\n<td>\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/td>\n<td>\u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u044c<\/td>\n<td>\u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0435\u0442<\/td>\n<\/tr>\n<tr>\n<td>Amazon<\/td>\n<td>Amazonbot \u00b7 Amzn-SearchBot \u00b7 Amzn-User<\/td>\n<td>\u0441\u0435\u0440\u0432\u0438\u0441\u044b \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u00b7 \u043f\u043e\u0438\u0441\u043a Alexa \u00b7 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442; Amzn-User \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043d\u0435 \u0432\u0441\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430<\/td>\n<td><a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=_blank>\u0441\u043f\u0438\u0441\u043a\u0438 \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 Amazon<\/a><\/td>\n<\/tr>\n<tr>\n<td>Mistral<\/td>\n<td>MistralAI-Training \u00b7 MistralAI-Index \u00b7 MistralAI-User<\/td>\n<td>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u00b7 \u043f\u043e\u0438\u0441\u043a \u0432 Vibe \u00b7 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/td>\n<td>\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0440\u043e\u043b\u0438<\/td>\n<td>\u0441\u043f\u0438\u0441\u043a\u0438 \u0434\u043b\u044f Index \u0438 User<\/td>\n<\/tr>\n<tr>\n<td>DuckDuckGo<\/td>\n<td>DuckAssistBot<\/td>\n<td>\u043e\u0442\u0432\u0435\u0442\u044b DuckAssist, \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442, \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0437\u0430 72 \u0447<\/td>\n<td><a href=\"https:\/\/duckduckgo.com\/duckassistbot.json\" target=_blank>duckassistbot.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Common Crawl<\/td>\n<td>CCBot<\/td>\n<td>\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0430\u0440\u0445\u0438\u0432 \u0432\u0435\u0431\u0430<\/td>\n<td>\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442<\/td>\n<td><a href=\"https:\/\/index.commoncrawl.org\/ccbot.json\" target=_blank>ccbot.json<\/a>, DNS *.crawl.commoncrawl.org<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<figure class=\"wp-block-image size-full\"><img decoding=\"async\" src=\"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-kraulerov-inline-1-ru-2026-11.png\" alt=\"\u0422\u0440\u0438 \u0440\u043e\u043b\u0438 \u0418\u0418-\u0431\u043e\u0442\u043e\u0432 \u041a\u0430\u0436\u0434\u0443\u044e \u0440\u043e\u043b\u044c \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0438\u043b\u0438 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u043e\u0439 \u0432 robots.txt \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 GPTBot ClaudeBot Google-Extended* Applebot-Extended* CCBot MistralAI-Training \u0417\u0430\u043f\u0440\u0435\u0442 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u0432 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442 \u041f\u043e\u0438\u0441\u043a OAI-SearchBot Claude-SearchBot P\" width=\"1200\"\/><\/figure>\n<p>\u0414\u0432\u0435 \u0434\u0435\u0442\u0430\u043b\u0438, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u0448\u0438\u0431\u0430\u044e\u0442\u0441\u044f. \u041f\u0435\u0440\u0432\u0430\u044f: \u0433\u0440\u0443\u043f\u043f\u0430 \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u0438 \u043e\u0431\u0449\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 <code>*<\/code> <a href=\"https:\/\/developers.google.com\/crawling\/docs\/robots-txt\/robots-txt-spec\" target=_blank>\u043d\u0435 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f<\/a>. \u0411\u043e\u0442, \u043d\u0430\u0437\u0432\u0430\u043d\u043d\u044b\u0439 \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0435, \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438\u0437 <code>*<\/code> \u0443\u0436\u0435 \u043d\u0435 \u0447\u0438\u0442\u0430\u0435\u0442. \u0412\u0442\u043e\u0440\u0430\u044f: <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=_blank>Applebot<\/a> \u0431\u0435\u0437 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f Googlebot.<\/p>\n<h2>\u0427\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 30 \u0434\u043d\u0435\u0439 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u0432 chyzh.agency<\/h2>\n<p>\u041a\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u043b\u0438. \u0412\u0437\u044f\u043b\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b nginx \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u0437\u0430 13.10\u201311.11.2026 (\u0432\u0440\u0435\u043c\u044f UTC). \u0412 \u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0436\u0443\u0440\u043d\u0430\u043b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0430\u0434\u0440\u0435\u0441\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432. \u041a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441 \u0438\u043c\u0435\u043d\u0435\u043c \u0431\u043e\u0442\u0430 \u0441\u0432\u0435\u0440\u0438\u043b\u0438 \u0441 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u043f\u0438\u0441\u043a\u043e\u043c IP \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u043f\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u043d\u0430 12.11.2026. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u043b\u0438 \u0441\u043a\u0430\u043d\u0435\u0440: \u0430\u0434\u0440\u0435\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430 \u043c\u0435\u0441\u044f\u0446 \u043d\u0430\u0437\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u0442\u0440\u0435\u043c\u044f \u0438 \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0418\u0418-\u0431\u043e\u0442\u0430\u043c\u0438 \u0438\u043b\u0438 \u0438\u0441\u043a\u0430\u043b\u0438 \u0444\u0430\u0439\u043b\u044b .env, \u043a\u043b\u044e\u0447\u0438 \u0438 \u043f\u0430\u0440\u043e\u043b\u0438.<\/p>\n<figure class=\"wp-block-table\">\n<table>\n<thead>\n<tr>\n<th>\u0411\u043e\u0442<\/th>\n<th>\u0417\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 \u044d\u0442\u0438\u043c \u0438\u043c\u0435\u043d\u0435\u043c<\/th>\n<th>\u0421 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 IP<\/th>\n<th>\u0421\u043a\u0430\u043d\u0435\u0440 \u043f\u043e\u0434 \u0447\u0443\u0436\u0438\u043c \u0438\u043c\u0435\u043d\u0435\u043c<\/th>\n<th>\u0414\u0440\u0443\u0433\u0438\u0435 IP \u0432\u043d\u0435 \u0441\u043f\u0438\u0441\u043a\u0430<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>GPTBot<\/td>\n<td>2 335<\/td>\n<td>2 248<\/td>\n<td>87<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>ClaudeBot<\/td>\n<td>1 833<\/td>\n<td>1 752<\/td>\n<td>81<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>PerplexityBot<\/td>\n<td>930<\/td>\n<td>833<\/td>\n<td>97<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>OAI-SearchBot<\/td>\n<td>371<\/td>\n<td>272<\/td>\n<td>99<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>ChatGPT-User<\/td>\n<td>337<\/td>\n<td>195<\/td>\n<td>109<\/td>\n<td>33<\/td>\n<\/tr>\n<tr>\n<td>Claude-User<\/td>\n<td>184<\/td>\n<td>26<\/td>\n<td>71<\/td>\n<td>87<\/td>\n<\/tr>\n<tr>\n<td>Claude-SearchBot<\/td>\n<td>76<\/td>\n<td>0<\/td>\n<td>76<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>Perplexity-User<\/td>\n<td>67<\/td>\n<td>0<\/td>\n<td>67<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>Googlebot, \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f<\/td>\n<td>2 510<\/td>\n<td>2 100<\/td>\n<td>177<\/td>\n<td>233<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-kraulerov-inline-2-ru-2026-11.png\" alt=\"\u041a\u0442\u043e \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439: 30 \u0434\u043d\u0435\u0439 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u0432 chyzh.agency \u0414\u043e\u043b\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 \u0438\u043c\u0435\u043d\u0435\u043c \u0431\u043e\u0442\u0430 \u043f\u043e \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0443 \u0430\u0434\u0440\u0435\u0441\u0430 \u0441 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 IP \u0441\u043a\u0430\u043d\u0435\u0440 \u043f\u043e\u0434 \u0447\u0443\u0436\u0438\u043c \u0438\u043c\u0435\u043d\u0435\u043c \u0434\u0440\u0443\u0433\u0438\u0435 IP \u0432\u043d\u0435 \u0441\u043f\u0438\u0441\u043a\u0430 GPTBot 96% \u00b7 2 335 ClaudeBot 96% \u00b7 1 833 PerplexityBot 90% \u00b7 930 OAI-SearchBot 73% \u00b7 \" width=\"1200\"\/><\/figure>\n<p><strong>\u0418\u043c\u0435\u043d\u0430 \u0418\u0418-\u0431\u043e\u0442\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u043a\u0430\u043d\u0435\u0440.<\/strong> \u0422\u0430\u043a\u0438\u0445 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 38. \u0418\u0437 \u043d\u0438\u0445 24 \u043f\u043e \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u043b\u0438 \u0441\u0435\u0431\u044f \u0442\u0440\u0435\u043c\u044f \u0438 \u0431\u043e\u043b\u0435\u0435 \u0431\u043e\u0442\u0430\u043c\u0438, 34 \u0438\u0441\u043a\u0430\u043b\u0438 .env, \u043a\u043b\u044e\u0447\u0438 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0438 SSH. 20 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0442 Google Cloud, 13 Cloudflare. Claude-SearchBot \u0438 Perplexity-User \u0437\u0430 30 \u0434\u043d\u0435\u0439 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u0441\u043a\u0430\u043d\u0435\u0440\u0430, \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u0432\u0438\u0437\u0438\u0442\u043e\u0432 \u044d\u0442\u0438\u0445 \u0431\u043e\u0442\u043e\u0432 \u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u0435 \u043d\u0435\u0442. \u0412\u0441\u0435\u0433\u043e \u0438\u0437 6 301 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441 \u0438\u043c\u0435\u043d\u0430\u043c\u0438 \u0431\u043e\u0442\u043e\u0432 OpenAI, Anthropic, Perplexity \u0438 DuckDuckGo 964 (15,3%) \u043f\u0440\u0438\u0448\u043b\u0438 \u043d\u0435 \u0441 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u044d\u0442\u0438\u0445 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c.<\/p>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043e\u0442 \u0418\u0418-\u0431\u043e\u0442\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u043e\u0442 Googlebot.<\/strong> \u0411\u043e\u0442\u044b OpenAI, Anthropic \u0438 Perplexity \u0441\u0434\u0435\u043b\u0430\u043b\u0438 5 326 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u0434\u0440\u0435\u0441\u043e\u0432, Googlebot 2 100, \u0432 2,5 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435. \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u044d\u0442\u0438\u0445 \u0432\u0438\u0437\u0438\u0442\u043e\u0432 \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0438\u0441\u044c \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u0436\u0443\u0440\u043d\u0430\u043b \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442.<\/p>\n<p><strong>GPTBot \u0447\u0438\u0442\u0430\u0435\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043a\u0430\u0440\u0442\u044b \u0441\u0430\u0439\u0442\u0430.<\/strong> \u041d\u0430 sitemap-\u0444\u0430\u0439\u043b\u044b \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c 77% \u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438 \u0437\u0430\u043f\u0438\u0441\u0438 13%. 901 \u0437\u0430\u043f\u0440\u043e\u0441 \u0443\u0448\u0435\u043b \u043d\u0430 \/ru\/sitemap_index.xml, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u043b 404. \u0421 16.10 \u043f\u043e 06.11 \u044d\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 40 \u0440\u0430\u0437 \u0432 \u0441\u0443\u0442\u043a\u0438. \u0410\u0434\u0440\u0435\u0441 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0439 \/ru\/robots.txt, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 WordPress \u0441 Yoast \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0434\u043b\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438. \u041d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430\u0445 \u0441\u0430\u0439\u0442\u0430 \u0438 \u0432 \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 \u0441\u0430\u0439\u0442\u0430 \u0435\u0433\u043e \u043d\u0435\u0442. \u041e\u0448\u0438\u0431\u043a\u0443 \u043c\u044b \u043d\u0430\u0448\u043b\u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u043e\u0440\u0430 \u0438 12.11.2026 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0438: \/ru\/robots.txt, \/ua\/robots.txt \u0438 \u043a\u0430\u0440\u0442\u044b \u0441\u0430\u0439\u0442\u0430 \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430\u0445 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0435\u0440\u0435\u0430\u0434\u0440\u0435\u0441\u0443\u044e\u0442 (301) \u043d\u0430 \u043a\u043e\u0440\u043d\u0435\u0432\u044b\u0435 \u0444\u0430\u0439\u043b\u044b.<\/p>\n<p><strong>\u0417\u0430\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432\u0438\u0434\u043d\u044b \u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u0435.<\/strong> ChatGPT-User \u043f\u0440\u0438\u0448\u0435\u043b 195 \u0440\u0430\u0437 \u0441 164 \u0440\u0430\u0437\u043d\u044b\u0445 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 OpenAI, \u0432\u0441\u0435 \u0441 \u043e\u0442\u0432\u0435\u0442\u043e\u043c 200: \u0433\u043b\u0430\u0432\u043d\u0430\u044f 86, \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438 \u0437\u0430\u043f\u0438\u0441\u0438 80, \u043a\u0435\u0439\u0441\u044b 25. Claude-User \u0441 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 Anthropic \u043f\u0440\u0438\u0448\u0435\u043b \u0442\u043e\u043b\u044c\u043a\u043e 26 \u0440\u0430\u0437. \u0415\u0449\u0435 87 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 \u044d\u0442\u0438\u043c \u0438\u043c\u0435\u043d\u0435\u043c \u043f\u043e\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u0441 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u0432\u043d\u0435 \u0441\u043f\u0438\u0441\u043a\u0430, \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u044d\u0442\u0438\u0445 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u0432 Google Cloud. Anthropic \u043b\u0438 \u044d\u0442\u043e \u0441 \u043d\u043e\u0432\u044b\u0445 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u0438\u043b\u0438 \u043f\u043e\u0434\u0434\u0435\u043b\u043a\u0430, \u043f\u043e \u043d\u0430\u0448\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0435\u043b\u044c\u0437\u044f.<\/p>\n<p><strong>\u0427\u0438\u0442\u0430\u044e\u0442 \u043b\u0438 \u0431\u043e\u0442\u044b robots.txt, \u0438\u0437 \u0436\u0443\u0440\u043d\u0430\u043b\u0430 \u043d\u0435 \u0432\u0438\u0434\u043d\u043e.<\/strong> \u0422\u0438\u043f\u043e\u0432\u043e\u0439 \u0448\u0430\u0431\u043b\u043e\u043d nginx \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u044c \u0434\u043b\u044f <code>\/robots.txt<\/code> \u0441\u0442\u0440\u043e\u043a\u043e\u0439 <code>access_log off<\/code>. \u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u0432\u0438\u0434\u0435\u0442\u044c, \u043a\u043e\u0433\u0434\u0430 \u0431\u043e\u0442\u044b \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u044d\u0442\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u0432 \u0441\u0432\u043e\u0435\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>\u0413\u0440\u0430\u043d\u0438\u0446\u044b \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0434\u0438\u043d \u0441\u0430\u0439\u0442 \u0430\u0433\u0435\u043d\u0442\u0441\u0442\u0432\u0430 \u0437\u0430 30 \u0434\u043d\u0435\u0439. \u0421\u043f\u0438\u0441\u043a\u0438 IP \u043c\u044b \u0432\u0437\u044f\u043b\u0438 \u043f\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u043d\u0430 12.11.2026, \u0430 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0438\u0445 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442: OpenAI \u043e\u0431\u043d\u043e\u0432\u0438\u043b\u0430 \u0441\u043f\u0438\u0441\u043e\u043a ChatGPT-User 06.11, Perplexity \u0441\u0432\u043e\u0438 28.10, Anthropic 20.10. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0447\u0430\u0441\u0442\u044c \u00ab\u0434\u0440\u0443\u0433\u0438\u0445 IP \u0432\u043d\u0435 \u0441\u043f\u0438\u0441\u043a\u0430\u00bb \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0439. \u0423 Bytespider \u0438 \u0431\u043e\u0442\u043e\u0432 Meta \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043f\u0438\u0441\u043a\u043e\u0432 IP \u043d\u0435\u0442, \u0438\u0445 \u043c\u044b \u043d\u0435 \u0441\u0432\u0435\u0440\u044f\u043b\u0438.<\/p>\n<h2>\u0427\u0442\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0435 \u0441\u0430\u0439\u0442\u044b<\/h2>\n<p>\u041a\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u043b\u0438. 12.11.2026 \u043c\u044b \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0438 robots.txt 55 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0430\u0439\u0442\u043e\u0432: 16 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432, 10 \u043c\u0430\u0440\u043a\u0435\u0442\u043f\u043b\u0435\u0439\u0441\u043e\u0432 \u0438 \u0434\u043e\u0441\u043e\u043a \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439, 16 \u043c\u0435\u0434\u0438\u0430, 8 \u0431\u0430\u043d\u043a\u043e\u0432, 5 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 \u0441\u0432\u044f\u0437\u0438 \u0438 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438. \u0424\u0430\u0439\u043b\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u043f\u043e \u0442\u0435\u043c \u0436\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c, \u0447\u0442\u043e \u0438 \u043d\u0430\u0448 \u0447\u0435\u043a\u0435\u0440. \u0417\u0430\u0442\u0435\u043c \u0442\u0440\u0438\u0436\u0434\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u0438\u043b\u0438 \u0433\u043b\u0430\u0432\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u0441 \u043f\u043e\u0434\u043f\u0438\u0441\u044c\u044e \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0430 \u0438 \u0441 \u043f\u043e\u0434\u043f\u0438\u0441\u044f\u043c\u0438 \u043f\u044f\u0442\u0438 \u0418\u0418-\u0431\u043e\u0442\u043e\u0432.<\/p>\n<ul>\n<li>47 \u0444\u0430\u0439\u043b\u043e\u0432 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b\u0438\u0441\u044c. 8 \u0441\u0430\u0439\u0442\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u043e robots.txt \u043e\u0442\u0434\u0430\u043b\u0438 HTML-\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0441 \u043e\u0448\u0438\u0431\u043a\u043e\u0439, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0438\u043b\u0438 \u0437\u0430\u0433\u043b\u0443\u0448\u043a\u043e\u0439, 4 \u0438\u0437 \u043d\u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 Cloudflare.<\/li>\n<li>\u041d\u0438 \u043e\u0434\u0438\u043d \u0438\u0437 47 \u0444\u0430\u0439\u043b\u043e\u0432 \u043d\u0435 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0441\u044c \u0441\u0430\u0439\u0442 \u0434\u043b\u044f GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot \u0438\u043b\u0438 ChatGPT-User. 5 \u0441\u0430\u0439\u0442\u043e\u0432 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u043e\u0442\u043e\u0432: Amazonbot (3), CCBot, Bytespider \u0438 meta-externalagent (\u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443).<\/li>\n<li>13 \u0441\u0430\u0439\u0442\u043e\u0432 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0418\u0418-\u0431\u043e\u0442\u043e\u0432 \u043f\u043e\u0438\u043c\u0435\u043d\u043d\u043e. \u041d\u0430 4 \u0438\u0437 \u043d\u0438\u0445 \u0431\u043e\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0433\u0440\u0443\u043f\u043f\u0443 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 <code>Allow: \/<\/code> \u0438 \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0432\u0438\u0434\u0438\u0442 \u043e\u0442 3 \u0434\u043e 47 \u0437\u0430\u043f\u0440\u0435\u0442\u043e\u0432 \u0438\u0437 \u0433\u0440\u0443\u043f\u043f\u044b <code>*<\/code>: \u043f\u043e\u0438\u0441\u043a\u0430, \u043b\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u0430\u0431\u0438\u043d\u0435\u0442\u0430, \u043a\u043e\u0440\u0437\u0438\u043d\u044b.<\/li>\n<li>33 \u0438\u0437 55 \u0441\u0430\u0439\u0442\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0447\u0435\u0440\u0435\u0437 Cloudflare, \u0441\u0443\u0434\u044f \u043f\u043e \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0443 Server.<\/li>\n<li>16 \u0441\u0430\u0439\u0442\u043e\u0432 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0438 403 \u0438\u043b\u0438 503 \u0434\u0430\u0436\u0435 \u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441 \u043f\u043e\u0434\u043f\u0438\u0441\u044c\u044e \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0430: \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0440\u0435\u0430\u0433\u0438\u0440\u0443\u0435\u0442 \u043d\u0430 \u043d\u0430\u0448 \u043a\u043b\u0438\u0435\u043d\u0442, \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0442\u0430\u043c \u043d\u0435\u0447\u0435\u0433\u043e. \u0418\u0437 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 39 \u0441\u0430\u0439\u0442\u043e\u0432 9 \u0432\u043e \u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u0445 \u043e\u0442\u0432\u0435\u0447\u0430\u043b\u0438 \u043d\u0430 \u0438\u043c\u044f \u0418\u0418-\u0431\u043e\u0442\u0430 \u0438\u043d\u0430\u0447\u0435, \u0447\u0435\u043c \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0443: 403, 429, 503 \u0438\u043b\u0438 \u0442\u0438\u0448\u0438\u043d\u0430. ClaudeBot \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043e\u0442\u043a\u0430\u0437 \u043d\u0430 \u0432\u0441\u0435\u0445 9, GPTBot \u0438 PerplexityBot \u043d\u0430 4. Robots.txt \u043d\u0430 \u0432\u0441\u0435\u0445 9 \u044d\u0442\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u0442, \u043d\u0430 \u0434\u0432\u0443\u0445 \u0434\u0430\u0436\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u043e\u0439.<\/li>\n<\/ul>\n<p>\u0413\u0440\u0430\u043d\u0438\u0446\u044b \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041c\u044b \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u043c\u044f \u0431\u043e\u0442\u0430 \u0441\u043e \u0441\u0432\u043e\u0435\u0433\u043e \u0430\u0434\u0440\u0435\u0441\u0430. \u0424\u0430\u0439\u0440\u0432\u043e\u043b \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e ClaudeBot \u0441 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 Anthropic \u0438 \u043e\u0442\u0441\u0435\u043a\u0430\u0442\u044c \u0442\u0435\u0445, \u043a\u0442\u043e \u043b\u0438\u0448\u044c \u043d\u0430\u0437\u0432\u0430\u043b\u0441\u044f \u0438\u043c, \u043a\u0430\u043a \u0441\u043a\u0430\u043d\u0435\u0440 \u0432 \u043d\u0430\u0448\u0438\u0445 \u0436\u0443\u0440\u043d\u0430\u043b\u0430\u0445. \u041a\u0430\u043a \u0441\u0430\u0439\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u043c \u0431\u043e\u0442\u0430\u043c, \u0432\u0438\u0434\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0435\u0433\u043e \u0436\u0443\u0440\u043d\u0430\u043b\u0430\u0445 \u0438 \u043f\u0430\u043d\u0435\u043b\u0438 CDN.<\/p>\n<h2>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0437\u0430 \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432<\/h2>\n<ol>\n<li>\n<p><strong>\u041f\u0440\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435 robots.txt \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0431\u043e\u0442\u0430.<\/strong> \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u043d\u0430\u0439\u0434\u0438\u0442\u0435 \u0435\u0433\u043e \u0433\u0440\u0443\u043f\u043f\u0443. \u041d\u0435\u0442 \u0433\u0440\u0443\u043f\u043f\u044b, \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 <code>*<\/code>. \u0415\u0441\u0442\u044c \u0433\u0440\u0443\u043f\u043f\u0430, \u0431\u043e\u0442 \u0447\u0438\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0435. \u0423 \u043f\u043e\u0434\u0434\u043e\u043c\u0435\u043d\u043e\u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 robots.txt. \u041a\u043e\u0434 \u043e\u0442\u0432\u0435\u0442\u0430 \u0442\u043e\u0436\u0435 \u0432\u0430\u0436\u0435\u043d: \u043f\u0440\u0438 4xx (\u043a\u0440\u043e\u043c\u0435 429) Google \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439 \u043d\u0435\u0442, \u0430 \u043f\u0440\u0438 5xx <a href=\"https:\/\/developers.google.com\/crawling\/docs\/robots-txt\/robots-txt-spec\" target=_blank>\u043f\u0435\u0440\u0432\u044b\u0435 12 \u0447\u0430\u0441\u043e\u0432<\/a> \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0430\u0439\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0433\u043e\u043d\u0438\u0442\u0435 \u0434\u043e\u043c\u0435\u043d \u0447\u0435\u0440\u0435\u0437 \u0447\u0435\u043a\u0435\u0440.<\/strong> \u041d\u0430\u0448 <a href=\"https:\/\/audit.chyzh.agency\/ua\/tools\/ai-crawler-checker\/\">\u0447\u0435\u043a\u0435\u0440 \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432<\/a> (\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u043d\u0430 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u043e\u043c) \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442 robots.txt \u0434\u043b\u044f 23 \u0431\u043e\u0442\u043e\u0432, \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u0442 \u0438\u0445 \u043f\u043e \u0440\u043e\u043b\u044f\u043c \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u0432\u0448\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443. \u041f\u0440\u0430\u0432\u0438\u043b \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430 \u043e\u043d \u043d\u0435 \u0432\u0438\u0434\u0438\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0435\u0440\u0434\u0438\u043a\u0442 \u0437\u0432\u0443\u0447\u0438\u0442 \u043a\u0430\u043a \u00ab\u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043e robots.txt\u00bb.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 CDN \u0438 \u0444\u0430\u0439\u0440\u0432\u043e\u043b.<\/strong> \u0412 Cloudflare \u044d\u0442\u043e Security \u2192 Settings \u2192 Bot traffic \u2192 <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=_blank>AI Crawler and Agent access policies<\/a>. \u0414\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430, \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 Block, Block on pages with ads \u0438\u043b\u0438 Allow, \u0430 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0435\u0449\u0435 Disallow \u0447\u0435\u0440\u0435\u0437 robots.txt. \u0415\u0441\u043b\u0438 \u0432\u043a\u043b\u044e\u0447\u0435\u043d Bot Preference Sync \u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u043d\u0430 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u0442, Cloudflare <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/managed-robots-txt\/\" target=_blank>\u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u0438 \u0437\u0430\u043f\u0440\u0435\u0442\u044b<\/a> \u0432 \u043d\u0430\u0447\u0430\u043b\u043e \u0432\u0430\u0448\u0435\u0433\u043e robots.txt. <a href=\"https:\/\/developers.cloudflare.com\/bots\/get-started\/bot-fight-mode\/\" target=_blank>Bot Fight Mode<\/a> \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 WAF \u043d\u0435 \u043e\u0431\u043e\u0439\u0442\u0438. \u0422\u0438\u043f\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u043d\u044f\u043b\u0438\u0441\u044c: \u0432 <a href=\"https:\/\/blog.cloudflare.com\/content-independence-day-no-ai-crawl-without-compensation\/\" target=_blank>\u0438\u044e\u043b\u0435 2025 \u0433\u043e\u0434\u0430<\/a> Cloudflare \u043e\u0431\u044a\u044f\u0432\u0438\u043b\u0430 \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u043a\u0443 \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f (\u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0430 02.11.2026) \u0441\u0442\u0430\u0432\u0438\u0442 \u043d\u043e\u0432\u044b\u043c \u0434\u043e\u043c\u0435\u043d\u0430\u043c Allow. \u0421\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0441\u0432\u043e\u0435\u0439 \u0437\u043e\u043d\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u043f\u0440\u043e\u0441\u0438\u0442\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u043e\u0442 \u0438\u043c\u0435\u043d\u0438 \u0431\u043e\u0442\u0430.<\/strong> \u0421\u0440\u0430\u0432\u043d\u0438\u0442\u0435 \u043a\u043e\u0434 \u043e\u0442\u0432\u0435\u0442\u0430 \u0434\u043b\u044f \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0430 \u0438 \u0434\u043b\u044f \u0431\u043e\u0442\u0430:<\/p>\n<pre><code>curl -s -o \/dev\/null -w \"%{http_code}\\n\" -A \"Mozilla\/5.0\" https:\/\/example.com\/\ncurl -s -o \/dev\/null -w \"%{http_code}\\n\" -A \"Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; ClaudeBot\/1.0; +claudebot@anthropic.com)\" https:\/\/example.com\/\n<\/code><\/pre>\n<p>\u0420\u0430\u0437\u043d\u044b\u0435 \u043a\u043e\u0434\u044b \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u0441\u0435\u0440\u0432\u0435\u0440 \u0440\u0435\u0430\u0433\u0438\u0440\u0443\u0435\u0442 \u043d\u0430 \u0438\u043c\u044f. \u041f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442 \u043b\u0438 \u043e\u043d \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e \u0431\u043e\u0442\u0430 \u0441 \u0435\u0433\u043e \u0430\u0434\u0440\u0435\u0441\u0430, \u044d\u0442\u043e\u0442 \u0442\u0435\u0441\u0442 \u043d\u0435 \u043f\u043e\u043a\u0430\u0436\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u0436\u0443\u0440\u043d\u0430\u043b\u044b.<\/strong> \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0438 \u043a\u043e\u0434\u044b \u043e\u0442\u0432\u0435\u0442\u0430 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0431\u043e\u0442\u0443, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f ClaudeBot:<\/p>\n<pre><code>grep \"ClaudeBot\" access.log | awk '{print $9}' | sort | uniq -c\n<\/code><\/pre>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043a <code>\/robots.txt<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0432\u0435\u0440\u044c\u0442\u0435 IP.<\/strong> \u0410\u0434\u0440\u0435\u0441\u0430 \u0438\u0437 \u0436\u0443\u0440\u043d\u0430\u043b\u0430 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435 \u0441\u043e \u0441\u043f\u0438\u0441\u043a\u0430\u043c\u0438 \u0438\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432\u044b\u0448\u0435. Google, Apple \u0438 Common Crawl \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0430\u044e\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u0438 \u043f\u0440\u044f\u043c\u043e\u0439 DNS, \u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/verify-google-requests\" target=_blank>\u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 Google<\/a>:<\/p>\n<pre><code>host 66.249.66.1\nhost crawl-66-249-66-1.googlebot.com\n<\/code><\/pre>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0432\u0435\u0440\u043a\u0443 \u043d\u0435 \u043f\u0440\u043e\u0448\u043b\u0438, \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435 \u0432\u0438\u0437\u0438\u0442\u0430\u043c\u0438 \u0431\u043e\u0442\u043e\u0432 \u0438 \u043d\u0435 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0439\u0442\u0435 \u0434\u043b\u044f \u043d\u0438\u0445 \u0444\u0430\u0439\u0440\u0432\u043e\u043b.<\/p>\n<\/li>\n<\/ol>\n<h2>\u041a\u043e\u0433\u043e \u043f\u0443\u0441\u043a\u0430\u0442\u044c, \u0430 \u043a\u043e\u0433\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0442\u044c<\/h2>\n<p>\u0414\u043b\u044f \u0441\u0430\u0439\u0442\u0430 \u0443\u0441\u043b\u0443\u0433 \u0438\u043b\u0438 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u044b \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0438\u0437 \u0418\u0418-\u043f\u043e\u0438\u0441\u043a\u0430, \u043c\u044b \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0431\u043e\u0442\u043e\u0432 \u0438 \u0431\u043e\u0442\u043e\u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0411\u043e\u0442\u043e\u0432 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442, \u043a\u043e\u0433\u0434\u0430 \u0432\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0432 \u043c\u0435\u0434\u0438\u0430 \u0441 \u043f\u043b\u0430\u0442\u043d\u044b\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043e\u043c. \u041f\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 OpenAI, Anthropic, Google \u0438 Apple, \u043d\u0430 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0432 \u0438\u0445 \u043f\u043e\u0438\u0441\u043a\u0435 \u044d\u0442\u043e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442.<\/p>\n<p>\u041f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438 \u043e\u0431\u0449\u0438\u0435 \u0441\u0438\u0433\u043d\u0430\u043b\u044b \u00ab\u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u00bb. Anthropic \u0441 30.10.2026 \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u043e\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043f\u043e \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0443 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0433\u0440\u0443\u043f\u043f\u044b IETF aipref, \u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0434\u043b\u044f ClaudeBot \u0432 robots.txt \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442. Google <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=_blank>\u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442<\/a> \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0441\u0438\u0433\u043d\u0430\u043b \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 2027 \u0433\u043e\u0434\u0430.<\/p>\n<p>\u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u043e\u043d \u043b\u0438\u0448\u044c \u0434\u0430\u0435\u0442 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443. \u0427\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435, \u043c\u044b \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/chyzh.agency\/ru\/blog\/chto-takoe-geo-audit\/\">\u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 GEO-\u0430\u0443\u0434\u0438\u0442<\/a>. \u0415\u0441\u043b\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043d\u0435\u0442 \u0434\u0430\u0436\u0435 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0435, \u043d\u0430\u0447\u043d\u0438\u0442\u0435 \u0441 \u0440\u0430\u0437\u0431\u043e\u0440\u0430 <a href=\"https:\/\/chyzh.agency\/ru\/blog\/pochemu-stranica-ne-indeksiruetsya\/\">\u043f\u043e\u0447\u0435\u043c\u0443 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u043d\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u0443\u0435\u0442\u0441\u044f<\/a>.<\/p>\n<h2>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433<\/h2>\n<p>\u041f\u0440\u043e\u0439\u0434\u0438\u0442\u0435 \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u0434\u043b\u044f \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0438 \u0434\u043b\u044f \u0434\u0432\u0443\u0445-\u0442\u0440\u0435\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0437\u0430\u044f\u0432\u043a\u0438, \u0438 \u0437\u0430\u043f\u0438\u0448\u0438\u0442\u0435, \u043a\u0430\u043a\u0438\u0435 \u0431\u043e\u0442\u044b \u0434\u043e \u043d\u0438\u0445 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0434\u043e\u0445\u043e\u0434\u044f\u0442. \u0415\u0441\u043b\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b, \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0438 robots.txt \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u043e\u0435, \u043d\u0430\u0447\u043d\u0438\u0442\u0435 \u0441 \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430: \u043e\u043d \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0431\u043e\u0442\u0443 \u0440\u0430\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0442\u043e\u0442 \u0434\u043e\u0431\u0435\u0440\u0435\u0442\u0441\u044f \u0434\u043e robots.txt \u0438\u043b\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b. \u0414\u043e\u0441\u0442\u0443\u043f \u0431\u043e\u0442\u043e\u0432, \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 CDN \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0435 <a href=\"https:\/\/chyzh.agency\/ru\/geo-prodvizhenie\/\">GEO-\u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f<\/a>.<\/p>\n<hr \/>\n<p><strong>\u0410\u0432\u0442\u043e\u0440: \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u041f\u0430\u0432\u043b\u0435\u043d\u043a\u043e, DevOps. \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043b: \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u041f\u043e\u043f\u0440\u044f\u0434\u0443\u0445\u0438\u043d, Head of SEO.<\/strong><\/p>\n<p><em>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438: OpenAI, \u00abOverview of OpenAI Crawlers\u00bb, \u0434\u0430\u0442\u044b \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u043d\u0435\u0442, \u0441\u0432\u0435\u0440\u0435\u043d\u043e 12.11.2026; \u0441\u043f\u0438\u0441\u043a\u0438 IP OpenAI gptbot.json (22.09.2026), searchbot.json (02.01.2026), chatgpt-user.json (06.11.2026); Anthropic, \u00abDoes Anthropic crawl data from the web, and how can site owners block the crawler?\u00bb, \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043e 04.11.2026, \u0441\u043f\u0438\u0441\u043e\u043a IP bots.json (20.10.2026); Perplexity, \u00abPerplexity Crawlers\u00bb, \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043e 29.10.2026, \u0441\u043f\u0438\u0441\u043a\u0438 IP 28.10.2026; Google, \u00abList of Google&#8217;s common crawlers\u00bb, 30.10.2026; \u00abList of Google user-triggered fetchers\u00bb, 19.08.2026; \u00abVerify requests from Google crawlers and fetchers\u00bb, 20.03.2026; \u00abAI features and your website\u00bb, 10.12.2025; \u00abHow Google interprets the robots.txt specification\u00bb, 23.10.2026; Apple, \u00abAbout Applebot\u00bb, 04.09.2026; Meta, \u00abMeta Web Crawlers\u00bb, 21.05.2026; Amazon, \u00abAmazon Web Search crawlers\u00bb, 26.10.2026; Mistral, \u00abMistral crawlers\u00bb, \u0431\u0435\u0437 \u0434\u0430\u0442\u044b, \u0441\u0432\u0435\u0440\u0435\u043d\u043e 12.11.2026; DuckDuckGo, \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u043e DuckAssistBot, \u0431\u0435\u0437 \u0434\u0430\u0442\u044b, \u0441\u0432\u0435\u0440\u0435\u043d\u043e 12.11.2026; Common Crawl, \u00abCCBot\u00bb, \u0431\u0435\u0437 \u0434\u0430\u0442\u044b, \u0441\u043f\u0438\u0441\u043e\u043a IP 11.08.2026; Cloudflare, \u00abAI Crawler and Agent access policies\u00bb \u0438 \u00abrobots.txt setting\u00bb, 02.11.2026, \u00abBot Fight Mode\u00bb, 03.08.2026, \u0431\u043b\u043e\u0433 \u00abContent Independence Day\u00bb, 01.07.2025; \u0436\u0443\u0440\u043d\u0430\u043b\u044b nginx chyzh.agency \u0437\u0430 13.10\u201311.11.2026; robots.txt \u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 55 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432, 12.11.2026; \u0441\u043d\u0438\u043c\u043e\u043a \u0432\u044b\u0434\u0430\u0447\u0438 Google \u0423\u043a\u0440\u0430\u0438\u043d\u0430 \u043f\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u043e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443 (\u043d\u0430 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u043e\u043c), 12.11.2026.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0420\u043e\u043b\u0438 \u0431\u043e\u0442\u043e\u0432 OpenAI, Anthropic, Perplexity \u0438 Google, \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043e\u0442 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0437\u0430 30 \u0434\u043d\u0435\u0439 \u0438 robots.txt 55 \u0441\u0430\u0439\u0442\u043e\u0432 \u0423\u043a\u0440\u0430\u0438\u043d\u044b.<\/p>\n","protected":false},"author":3,"featured_media":13078,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[89],"tags":[],"class_list":["post-13094","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-geo"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.6 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443: 6 \u0448\u0430\u0433\u043e\u0432 | Chyzh Agency<\/title>\n<meta name=\"description\" content=\"\u0420\u043e\u043b\u0438 \u0431\u043e\u0442\u043e\u0432 OpenAI, Anthropic, Perplexity \u0438 Google, \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043e\u0442 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0437\u0430 30 \u0434\u043d\u0435\u0439 \u0438 robots.txt 55 \u0441\u0430\u0439\u0442\u043e\u0432 \u0423\u043a\u0440\u0430\u0438\u043d\u044b.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/\" \/>\n<meta property=\"og:locale\" content=\"ru_RU\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443: 6 \u0448\u0430\u0433\u043e\u0432 | Chyzh Agency\" \/>\n<meta property=\"og:description\" content=\"\u0420\u043e\u043b\u0438 \u0431\u043e\u0442\u043e\u0432 OpenAI, Anthropic, Perplexity \u0438 Google, \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043e\u0442 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0437\u0430 30 \u0434\u043d\u0435\u0439 \u0438 robots.txt 55 \u0441\u0430\u0439\u0442\u043e\u0432 \u0423\u043a\u0440\u0430\u0438\u043d\u044b.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/\" \/>\n<meta property=\"og:site_name\" content=\"Chyzh Agency\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/chyzhagency\/\" \/>\n<meta property=\"article:published_time\" content=\"2026-11-20T08:00:00+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-kraulerov-cover-ru-2026-11.png\" \/>\n\t<meta property=\"og:image:width\" content=\"2400\" \/>\n\t<meta property=\"og:image:height\" content=\"1260\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"3 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/\"},\"author\":{\"name\":\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#\\\/schema\\\/person\\\/9f4ea8a05b4d2ef5e76b4be8a752dc64\"},\"headline\":\"\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443: robots.txt, \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430\",\"datePublished\":\"2026-11-20T08:00:00+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/\"},\"wordCount\":1873,\"publisher\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/dostup-ai-kraulerov-cover-ru-2026-11.png\",\"articleSection\":[\"GEO\"],\"inLanguage\":\"ru-UA\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/\",\"name\":\"\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443: 6 \u0448\u0430\u0433\u043e\u0432 | Chyzh Agency\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/dostup-ai-kraulerov-cover-ru-2026-11.png\",\"datePublished\":\"2026-11-20T08:00:00+00:00\",\"description\":\"\u0420\u043e\u043b\u0438 \u0431\u043e\u0442\u043e\u0432 OpenAI, Anthropic, Perplexity \u0438 Google, \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043e\u0442 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0437\u0430 30 \u0434\u043d\u0435\u0439 \u0438 robots.txt 55 \u0441\u0430\u0439\u0442\u043e\u0432 \u0423\u043a\u0440\u0430\u0438\u043d\u044b.\",\"inLanguage\":\"ru-UA\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"ru-UA\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/blog\\\/dostup-ai-kraulerov\\\/#primaryimage\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/dostup-ai-kraulerov-cover-ru-2026-11.png\",\"contentUrl\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/dostup-ai-kraulerov-cover-ru-2026-11.png\",\"width\":2400,\"height\":1260,\"caption\":\"GEO \u00b7 \u0411\u041b\u041e\u0413 CHYZH AGENCY \u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443 15,3% \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 \u0438\u043c\u0435\u043d\u0430\u043c\u0438 \u0418\u0418-\u0431\u043e\u0442\u043e\u0432 \u043f\u0440\u0438\u0448\u043b\u0438 \u043d\u0435 \u0441 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u0438\u0445 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c 9 \u0438\u0437 39 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 ClaudeBot \u0438\u043d\u0430\u0447\u0435, \u0447\u0435\u043c \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0443 2,5\u00d7 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0418\u0418\"},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#website\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/\",\"name\":\"Chyzh Agency\",\"description\":\"Digital Agency\",\"publisher\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"ru-UA\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#organization\",\"name\":\"Chyzh Agency\",\"alternateName\":\"Echizh\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"ru-UA\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/logo-square-512-light.png\",\"contentUrl\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/logo-square-512-light.png\",\"width\":512,\"height\":512,\"caption\":\"Chyzh Agency\"},\"image\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/chyzhagency\",\"https:\\\/\\\/www.instagram.com\\\/chyzhagency\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/chyzh\",\"https:\\\/\\\/www.crunchbase.com\\\/organization\\\/echizh\",\"https:\\\/\\\/clutch.co\\\/profile\\\/chyzh-agency\",\"https:\\\/\\\/www.google.com\\\/maps?cid=16747418543228899160\"],\"foundingDate\":\"2011\",\"address\":{\"@type\":\"PostalAddress\",\"streetAddress\":\"st. Patorzhynskoho, 4\",\"addressLocality\":\"Kyiv\",\"postalCode\":\"01034\",\"addressCountry\":\"UA\"},\"email\":\"info@chyzh.agency\",\"telephone\":\"+380671309326\",\"knowsAbout\":[\"Search Engine Optimization\",\"Generative Engine Optimization\",\"Digital Marketing\",\"Web Development\",\"Mobile App Development\"],\"founder\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#yevhenii-chyzh\"}},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#\\\/schema\\\/person\\\/9f4ea8a05b4d2ef5e76b4be8a752dc64\",\"name\":\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"ru-UA\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g\",\"caption\":\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\"},\"url\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/author\\\/echizh\\\/\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#yevhenii-chyzh\",\"name\":\"Yevhenii Chyzh\",\"jobTitle\":\"Chief Executive Officer\",\"worksFor\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ru\\\/#organization\"},\"knowsAbout\":[\"SEO\",\"Generative Engine Optimization\",\"AI content systems\",\"Digital Marketing\"],\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/yevheniichyzh\\\/\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443: 6 \u0448\u0430\u0433\u043e\u0432 | Chyzh Agency","description":"\u0420\u043e\u043b\u0438 \u0431\u043e\u0442\u043e\u0432 OpenAI, Anthropic, Perplexity \u0438 Google, \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043e\u0442 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0437\u0430 30 \u0434\u043d\u0435\u0439 \u0438 robots.txt 55 \u0441\u0430\u0439\u0442\u043e\u0432 \u0423\u043a\u0440\u0430\u0438\u043d\u044b.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/","og_locale":"ru_RU","og_type":"article","og_title":"\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443: 6 \u0448\u0430\u0433\u043e\u0432 | Chyzh Agency","og_description":"\u0420\u043e\u043b\u0438 \u0431\u043e\u0442\u043e\u0432 OpenAI, Anthropic, Perplexity \u0438 Google, \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043e\u0442 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0437\u0430 30 \u0434\u043d\u0435\u0439 \u0438 robots.txt 55 \u0441\u0430\u0439\u0442\u043e\u0432 \u0423\u043a\u0440\u0430\u0438\u043d\u044b.","og_url":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/","og_site_name":"Chyzh Agency","article_publisher":"https:\/\/www.facebook.com\/chyzhagency\/","article_published_time":"2026-11-20T08:00:00+00:00","og_image":[{"width":2400,"height":1260,"url":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-kraulerov-cover-ru-2026-11.png","type":"image\/png"}],"author":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436","twitter_card":"summary_large_image","twitter_misc":{"Written by":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436","Est. reading time":"3 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/#article","isPartOf":{"@id":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/"},"author":{"name":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436","@id":"https:\/\/chyzh.agency\/ru\/#\/schema\/person\/9f4ea8a05b4d2ef5e76b4be8a752dc64"},"headline":"\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443: robots.txt, \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430","datePublished":"2026-11-20T08:00:00+00:00","mainEntityOfPage":{"@id":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/"},"wordCount":1873,"publisher":{"@id":"https:\/\/chyzh.agency\/ru\/#organization"},"image":{"@id":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/#primaryimage"},"thumbnailUrl":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-kraulerov-cover-ru-2026-11.png","articleSection":["GEO"],"inLanguage":"ru-UA"},{"@type":"WebPage","@id":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/","url":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/","name":"\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443: 6 \u0448\u0430\u0433\u043e\u0432 | Chyzh Agency","isPartOf":{"@id":"https:\/\/chyzh.agency\/ru\/#website"},"primaryImageOfPage":{"@id":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/#primaryimage"},"image":{"@id":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/#primaryimage"},"thumbnailUrl":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-kraulerov-cover-ru-2026-11.png","datePublished":"2026-11-20T08:00:00+00:00","description":"\u0420\u043e\u043b\u0438 \u0431\u043e\u0442\u043e\u0432 OpenAI, Anthropic, Perplexity \u0438 Google, \u0448\u0435\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043e\u0442 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0437\u0430 30 \u0434\u043d\u0435\u0439 \u0438 robots.txt 55 \u0441\u0430\u0439\u0442\u043e\u0432 \u0423\u043a\u0440\u0430\u0438\u043d\u044b.","inLanguage":"ru-UA","potentialAction":[{"@type":"ReadAction","target":["https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/"]}]},{"@type":"ImageObject","inLanguage":"ru-UA","@id":"https:\/\/chyzh.agency\/ru\/blog\/dostup-ai-kraulerov\/#primaryimage","url":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-kraulerov-cover-ru-2026-11.png","contentUrl":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-kraulerov-cover-ru-2026-11.png","width":2400,"height":1260,"caption":"GEO \u00b7 \u0411\u041b\u041e\u0413 CHYZH AGENCY \u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0418\u0418-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u043e\u0432 \u043a \u0441\u0430\u0439\u0442\u0443 15,3% \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 \u0438\u043c\u0435\u043d\u0430\u043c\u0438 \u0418\u0418-\u0431\u043e\u0442\u043e\u0432 \u043f\u0440\u0438\u0448\u043b\u0438 \u043d\u0435 \u0441 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u0438\u0445 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c 9 \u0438\u0437 39 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 ClaudeBot \u0438\u043d\u0430\u0447\u0435, \u0447\u0435\u043c \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0443 2,5\u00d7 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0418\u0418"},{"@type":"WebSite","@id":"https:\/\/chyzh.agency\/ru\/#website","url":"https:\/\/chyzh.agency\/ru\/","name":"Chyzh Agency","description":"Digital Agency","publisher":{"@id":"https:\/\/chyzh.agency\/ru\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/chyzh.agency\/ru\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"ru-UA"},{"@type":"Organization","@id":"https:\/\/chyzh.agency\/ru\/#organization","name":"Chyzh Agency","alternateName":"Echizh","url":"https:\/\/chyzh.agency\/ru\/","logo":{"@type":"ImageObject","inLanguage":"ru-UA","@id":"https:\/\/chyzh.agency\/ru\/#\/schema\/logo\/image\/","url":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/07\/logo-square-512-light.png","contentUrl":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/07\/logo-square-512-light.png","width":512,"height":512,"caption":"Chyzh Agency"},"image":{"@id":"https:\/\/chyzh.agency\/ru\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/chyzhagency","https:\/\/www.instagram.com\/chyzhagency","https:\/\/www.linkedin.com\/company\/chyzh","https:\/\/www.crunchbase.com\/organization\/echizh","https:\/\/clutch.co\/profile\/chyzh-agency","https:\/\/www.google.com\/maps?cid=16747418543228899160"],"foundingDate":"2011","address":{"@type":"PostalAddress","streetAddress":"st. Patorzhynskoho, 4","addressLocality":"Kyiv","postalCode":"01034","addressCountry":"UA"},"email":"info@chyzh.agency","telephone":"+380671309326","knowsAbout":["Search Engine Optimization","Generative Engine Optimization","Digital Marketing","Web Development","Mobile App Development"],"founder":{"@id":"https:\/\/chyzh.agency\/ru\/#yevhenii-chyzh"}},{"@type":"Person","@id":"https:\/\/chyzh.agency\/ru\/#\/schema\/person\/9f4ea8a05b4d2ef5e76b4be8a752dc64","name":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436","image":{"@type":"ImageObject","inLanguage":"ru-UA","@id":"https:\/\/secure.gravatar.com\/avatar\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g","caption":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436"},"url":"https:\/\/chyzh.agency\/ru\/author\/echizh\/"},{"@type":"Person","@id":"https:\/\/chyzh.agency\/ru\/#yevhenii-chyzh","name":"Yevhenii Chyzh","jobTitle":"Chief Executive Officer","worksFor":{"@id":"https:\/\/chyzh.agency\/ru\/#organization"},"knowsAbout":["SEO","Generative Engine Optimization","AI content systems","Digital Marketing"],"sameAs":["https:\/\/www.linkedin.com\/in\/yevheniichyzh\/"]}]}},"_links":{"self":[{"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/posts\/13094","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/comments?post=13094"}],"version-history":[{"count":7,"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/posts\/13094\/revisions"}],"predecessor-version":[{"id":13134,"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/posts\/13094\/revisions\/13134"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/media\/13078"}],"wp:attachment":[{"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/media?parent=13094"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/categories?post=13094"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/chyzh.agency\/ru\/wp-json\/wp\/v2\/tags?post=13094"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}