{"id":13073,"date":"2026-11-20T10:00:00","date_gmt":"2026-11-20T08:00:00","guid":{"rendered":"https:\/\/chyzh.agency\/?p=13073"},"modified":"2026-11-12T13:14:53","modified_gmt":"2026-11-12T11:14:53","slug":"dostup-ai-krauleriv","status":"publish","type":"post","link":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/","title":{"rendered":"\u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443: robots.txt, \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430"},"content":{"rendered":"<p>\u041a\u043e\u0440\u043e\u0442\u043a\u0430 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u044c. \u0414\u043e\u0441\u0442\u0443\u043f \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u044f\u044e\u0442\u044c \u0443 \u0447\u043e\u0442\u0438\u0440\u0438 \u0448\u0430\u0440\u0438: robots.txt \u0434\u043b\u044f \u043a\u043e\u0436\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u043e\u043a\u0440\u0435\u043c\u043e, \u043f\u0440\u0430\u0432\u0438\u043b\u0430 CDN \u0456 \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430, \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0456 \u0437\u0432\u0456\u0440\u043a\u0430 IP \u0437 \u043e\u0444\u0456\u0446\u0456\u0439\u043d\u0438\u043c\u0438 \u0441\u043f\u0438\u0441\u043a\u0430\u043c\u0438 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c. \u0421\u0430\u043c\u043e\u0433\u043e robots.txt \u043c\u0430\u043b\u043e. \u041d\u0430 9 \u0456\u0437 39 \u0432\u0435\u043b\u0438\u043a\u0438\u0445 \u0443\u043a\u0440\u0430\u0457\u043d\u0441\u044c\u043a\u0438\u0445 \u0441\u0430\u0439\u0442\u0456\u0432, \u044f\u043a\u0456 \u043c\u0438 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u043b\u0438 12 \u043b\u0438\u0441\u0442\u043e\u043f\u0430\u0434\u0430 2026 \u0440\u043e\u043a\u0443, \u0444\u0430\u0439\u043b \u0434\u043e\u0437\u0432\u043e\u043b\u044f\u0432 ClaudeBot, \u043f\u0440\u043e\u0442\u0435 \u0441\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 \u0446\u0435 \u0456\u043c&#8217;\u044f \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0430\u0432 403, 429, 503 \u0430\u0431\u043e \u0437\u043e\u0432\u0441\u0456\u043c \u043d\u0435 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0430\u0432.<\/p>\n<p>\u041a\u043e\u0433\u043e \u043f\u0443\u0441\u043a\u0430\u0442\u0438, \u0437\u0430\u043b\u0435\u0436\u0438\u0442\u044c \u0432\u0456\u0434 \u043c\u0435\u0442\u0438. \u0412\u0456\u0434 \u043f\u043e\u0448\u0443\u043a\u043e\u0432\u0438\u0445 \u0431\u043e\u0442\u0456\u0432 \u0456 \u0431\u043e\u0442\u0456\u0432 \u0437\u0430\u043f\u0438\u0442\u0443 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430 \u0437\u0430\u043b\u0435\u0436\u0438\u0442\u044c, \u0447\u0438 \u0437\u043c\u043e\u0436\u0435 \u0428\u0406-\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0432\u0456\u0434\u043a\u0440\u0438\u0442\u0438 \u0439 \u043f\u0440\u043e\u0446\u0438\u0442\u0443\u0432\u0430\u0442\u0438 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0443. \u0411\u043e\u0442\u0438 \u0434\u043b\u044f \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f \u0441\u0442\u043e\u0441\u0443\u044e\u0442\u044c\u0441\u044f \u043f\u0440\u0430\u0432 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>\u041d\u0438\u0436\u0447\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044f \u0431\u043e\u0442\u0456\u0432 \u0437\u0430 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430\u043c\u0438, \u0449\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 30 \u0434\u043d\u0456\u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u0456\u0432 \u043d\u0430\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0443 chyzh.agency, \u0456 \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0438.<\/p>\n<h2>\u0422\u0440\u0438 \u0440\u043e\u043b\u0456 \u0428\u0406-\u0431\u043e\u0442\u0456\u0432: \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f, \u043f\u043e\u0448\u0443\u043a \u0456 \u0437\u0430\u043f\u0438\u0442 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430<\/h2>\n<p>\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0438 \u0440\u043e\u0437\u0432\u043e\u0434\u044f\u0442\u044c \u0431\u043e\u0442\u0456\u0432 \u0437\u0430 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438, \u0442\u043e\u0436 \u043a\u043e\u0436\u043d\u0443 \u0440\u043e\u043b\u044c \u0432\u0456\u0434\u043a\u0440\u0438\u0432\u0430\u044e\u0442\u044c \u0447\u0438 \u0437\u0430\u043a\u0440\u0438\u0432\u0430\u044e\u0442\u044c \u043e\u043a\u0440\u0435\u043c\u0438\u043c \u0440\u044f\u0434\u043a\u043e\u043c \u0443 robots.txt.<\/p>\n<ul>\n<li><strong>\u041d\u0430\u0432\u0447\u0430\u043d\u043d\u044f.<\/strong> \u0411\u043e\u0442 \u0437\u0431\u0438\u0440\u0430\u0454 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0438, \u044f\u043a\u0456 \u043c\u043e\u0436\u0443\u0442\u044c \u043f\u043e\u0442\u0440\u0430\u043f\u0438\u0442\u0438 \u0432 \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439: GPTBot \u0432 OpenAI, ClaudeBot \u0432 Anthropic, meta-externalagent \u0443 Meta. Google \u0456 Apple \u043c\u0430\u044e\u0442\u044c \u0434\u043b\u044f \u0446\u044c\u043e\u0433\u043e \u043b\u0438\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u0438 \u0431\u0435\u0437 \u043e\u043a\u0440\u0435\u043c\u043e\u0433\u043e \u0431\u043e\u0442\u0430: Google-Extended \u0456 Applebot-Extended.<\/li>\n<li><strong>\u041f\u043e\u0448\u0443\u043a.<\/strong> \u0411\u043e\u0442 \u0431\u0443\u0434\u0443\u0454 \u0456\u043d\u0434\u0435\u043a\u0441, \u0437 \u044f\u043a\u043e\u0433\u043e \u0428\u0406-\u043f\u043e\u0448\u0443\u043a \u0431\u0435\u0440\u0435 \u0434\u0436\u0435\u0440\u0435\u043b\u0430 \u0437 \u043f\u043e\u0441\u0438\u043b\u0430\u043d\u043d\u044f\u043c\u0438: OAI-SearchBot \u0434\u043b\u044f ChatGPT, Claude-SearchBot, PerplexityBot. OpenAI <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=_blank>\u043f\u0438\u0448\u0435 \u043f\u0440\u044f\u043c\u043e<\/a>: \u0441\u0430\u0439\u0442\u0438, \u0437\u0430\u043a\u0440\u0438\u0442\u0456 \u0434\u043b\u044f OAI-SearchBot, \u043d\u0435 \u0437&#8217;\u044f\u0432\u043b\u044f\u044e\u0442\u044c\u0441\u044f \u0443 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u044f\u0445 \u043f\u043e\u0448\u0443\u043a\u0443 ChatGPT, \u0445\u0456\u0431\u0430 \u0449\u043e \u044f\u043a \u043d\u0430\u0432\u0456\u0433\u0430\u0446\u0456\u0439\u043d\u0456 \u043f\u043e\u0441\u0438\u043b\u0430\u043d\u043d\u044f.<\/li>\n<li><strong>\u0417\u0430\u043f\u0438\u0442 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430.<\/strong> \u0411\u043e\u0442 \u0432\u0456\u0434\u043a\u0440\u0438\u0432\u0430\u0454 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0443, \u043a\u043e\u043b\u0438 \u043f\u0440\u043e \u043d\u0435\u0457 \u043f\u0438\u0442\u0430\u0454 \u043b\u044e\u0434\u0438\u043d\u0430 \u0432 \u0447\u0430\u0442\u0456: ChatGPT-User, Claude-User, Perplexity-User. OpenAI \u0456 Perplexity \u043f\u043e\u043f\u0435\u0440\u0435\u0434\u0436\u0430\u044e\u0442\u044c, \u0449\u043e \u0442\u0430\u043a\u0456 \u0437\u0430\u043f\u0438\u0442\u0438 \u043c\u043e\u0436\u0443\u0442\u044c \u043d\u0435 \u0432\u0438\u043a\u043e\u043d\u0443\u0432\u0430\u0442\u0438 robots.txt. Anthropic <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=_blank>\u043f\u0438\u0448\u0435<\/a>, \u0449\u043e \u0432\u0441\u0456 \u0442\u0440\u0438 \u0457\u0457 \u0431\u043e\u0442\u0438 robots.txt \u0432\u0438\u043a\u043e\u043d\u0443\u044e\u0442\u044c.<\/li>\n<\/ul>\n<p>\u041d\u0430\u0439\u0431\u0456\u043b\u044c\u0448\u0435 \u043f\u043b\u0443\u0442\u0430\u043d\u0438\u043d\u0438 \u043d\u0430\u0432\u043a\u043e\u043b\u043e Google. \u0417\u0430 <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=_blank>\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0456\u0454\u044e Google<\/a> (\u043e\u043d\u043e\u0432\u043b\u0435\u043d\u0430 30.10.2026), Google-Extended \u043a\u0435\u0440\u0443\u0454 \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f\u043c Gemini \u0456 \u043f\u0456\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u044e \u0434\u0430\u043d\u0438\u0445 \u0437 \u0456\u043d\u0434\u0435\u043a\u0441\u0443 \u0432 Gemini Apps \u0456 Vertex AI (grounding). \u041d\u0430 \u043f\u043e\u044f\u0432\u0443 \u0441\u0430\u0439\u0442\u0443 \u0432 \u041f\u043e\u0448\u0443\u043a\u0443 \u0432\u0456\u043d \u043d\u0435 \u0432\u043f\u043b\u0438\u0432\u0430\u0454. \u0429\u043e\u0431 \u043f\u043e\u0442\u0440\u0430\u043f\u0438\u0442\u0438 \u043f\u043e\u0441\u0438\u043b\u0430\u043d\u043d\u044f\u043c \u0432 AI Overviews \u0447\u0438 AI Mode, \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0430 <a href=\"https:\/\/developers.google.com\/search\/docs\/appearance\/ai-features\" target=_blank>\u043c\u0430\u0454 \u0431\u0443\u0442\u0438 \u0432 \u0456\u043d\u0434\u0435\u043a\u0441\u0456 \u041f\u043e\u0448\u0443\u043a\u0443<\/a> \u0456 \u043c\u0430\u0442\u0438 \u043f\u0440\u0430\u0432\u043e \u043d\u0430 \u0441\u043d\u0456\u043f\u0435\u0442, \u0430 \u043a\u0435\u0440\u0443\u0432\u0430\u0442\u0438 \u0446\u0438\u043c Google \u043f\u0440\u043e\u043f\u043e\u043d\u0443\u0454 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0434\u043b\u044f Googlebot \u0456 \u0434\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0438 nosnippet, max-snippet, noindex. \u0417\u0430\u043a\u0440\u0438\u0442\u0438 Googlebot \u0437\u0430\u0440\u0430\u0434\u0438 \u0446\u044c\u043e\u0433\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0454 \u0437\u043d\u0438\u043a\u043d\u0443\u0442\u0438 \u0437 \u041f\u043e\u0448\u0443\u043a\u0443.<\/p>\n<h2>\u041c\u0430\u0442\u0440\u0438\u0446\u044f \u0431\u043e\u0442\u0456\u0432 \u0437\u0430 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430\u043c\u0438<\/h2>\n<p>\u0417\u0432\u0456\u0440\u0435\u043d\u043e \u0437 \u0432\u0438\u0445\u0456\u0434\u043d\u0438\u043c HTML \u043e\u0444\u0456\u0446\u0456\u0439\u043d\u0438\u0445 \u0441\u0442\u043e\u0440\u0456\u043d\u043e\u043a 12.11.2026, \u0434\u0430\u0442\u0438 \u043e\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044f \u0432 \u0434\u0436\u0435\u0440\u0435\u043b\u0430\u0445 \u043d\u0430\u043f\u0440\u0438\u043a\u0456\u043d\u0446\u0456.<\/p>\n<figure class=\"wp-block-table\">\n<table>\n<thead>\n<tr>\n<th>\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430<\/th>\n<th>\u0411\u043e\u0442<\/th>\n<th>\u0420\u043e\u043b\u044c<\/th>\n<th>robots.txt \u0437\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0456\u0454\u044e<\/th>\n<th>\u041f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0430 IP<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>OpenAI<\/td>\n<td>GPTBot<\/td>\n<td>\u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454<\/td>\n<td><a href=\"https:\/\/openai.com\/gptbot.json\" target=_blank>gptbot.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>OpenAI<\/td>\n<td>OAI-SearchBot<\/td>\n<td>\u043f\u043e\u0448\u0443\u043a ChatGPT<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454, \u0437\u043c\u0456\u043d\u0438 \u043f\u0456\u0434\u0445\u043e\u043f\u043b\u044e\u0454 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u043d\u043e \u0437\u0430 24 \u0433\u043e\u0434<\/td>\n<td><a href=\"https:\/\/openai.com\/searchbot.json\" target=_blank>searchbot.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>OpenAI<\/td>\n<td>ChatGPT-User<\/td>\n<td>\u0437\u0430\u043f\u0438\u0442 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430<\/td>\n<td>\u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u00ab\u043c\u043e\u0436\u0443\u0442\u044c \u043d\u0435 \u0437\u0430\u0441\u0442\u043e\u0441\u043e\u0432\u0443\u0432\u0430\u0442\u0438\u0441\u044f\u00bb<\/td>\n<td><a href=\"https:\/\/openai.com\/chatgpt-user.json\" target=_blank>chatgpt-user.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Anthropic<\/td>\n<td>ClaudeBot<\/td>\n<td>\u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454, \u043f\u0456\u0434\u0442\u0440\u0438\u043c\u0443\u0454 Crawl-delay<\/td>\n<td><a href=\"https:\/\/claude.com\/crawling\/bots.json\" target=_blank>bots.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Anthropic<\/td>\n<td>Claude-SearchBot<\/td>\n<td>\u043f\u043e\u0448\u0443\u043a Claude<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454<\/td>\n<td>\u0442\u043e\u0439 \u0441\u0430\u043c\u0438\u0439 \u0441\u043f\u0438\u0441\u043e\u043a<\/td>\n<\/tr>\n<tr>\n<td>Anthropic<\/td>\n<td>Claude-User<\/td>\n<td>\u0437\u0430\u043f\u0438\u0442 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454<\/td>\n<td>\u0442\u043e\u0439 \u0441\u0430\u043c\u0438\u0439 \u0441\u043f\u0438\u0441\u043e\u043a<\/td>\n<\/tr>\n<tr>\n<td>Perplexity<\/td>\n<td>PerplexityBot<\/td>\n<td>\u043f\u043e\u0448\u0443\u043a, \u0437\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0456\u0454\u044e \u0431\u0435\u0437 \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454, \u0434\u043e 24 \u0433\u043e\u0434<\/td>\n<td><a href=\"https:\/\/www.perplexity.ai\/perplexitybot.json\" target=_blank>perplexitybot.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Perplexity<\/td>\n<td>Perplexity-User<\/td>\n<td>\u0437\u0430\u043f\u0438\u0442 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430<\/td>\n<td>\u00ab\u0437\u0430\u0437\u0432\u0438\u0447\u0430\u0439 \u0456\u0433\u043d\u043e\u0440\u0443\u0454\u00bb<\/td>\n<td><a href=\"https:\/\/www.perplexity.ai\/perplexity-user.json\" target=_blank>perplexity-user.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Google<\/td>\n<td>Googlebot<\/td>\n<td>\u041f\u043e\u0448\u0443\u043a, \u0437\u043e\u043a\u0440\u0435\u043c\u0430 AI Overviews \u0456 AI Mode<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454<\/td>\n<td><a href=\"https:\/\/developers.google.com\/static\/crawling\/ipranges\/common-crawlers.json\" target=_blank>common-crawlers.json<\/a>, DNS *.googlebot.com<\/td>\n<\/tr>\n<tr>\n<td>Google<\/td>\n<td>Google-Extended<\/td>\n<td>\u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f Gemini \u0456 grounding<\/td>\n<td>\u043b\u0438\u0448\u0435 \u0442\u043e\u043a\u0435\u043d, \u043e\u043a\u0440\u0435\u043c\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u043d\u0435\u043c\u0430\u0454<\/td>\n<td>\u043d\u0435 \u043f\u043e\u0442\u0440\u0456\u0431\u043d\u0430<\/td>\n<\/tr>\n<tr>\n<td>Google<\/td>\n<td>Google-Agent<\/td>\n<td>\u0430\u0433\u0435\u043d\u0442\u0438 Google \u043d\u0430 \u0437\u0430\u043f\u0438\u0442 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430<\/td>\n<td>\u0437\u0430\u0437\u0432\u0438\u0447\u0430\u0439 \u0456\u0433\u043d\u043e\u0440\u0443\u0454<\/td>\n<td><a href=\"https:\/\/developers.google.com\/static\/crawling\/ipranges\/user-triggered-agents.json\" target=_blank>user-triggered-agents.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Apple<\/td>\n<td>Applebot<\/td>\n<td>Siri, Spotlight, Safari; \u0434\u0430\u043d\u0456 \u043c\u043e\u0436\u0443\u0442\u044c \u043f\u0456\u0442\u0438 \u0432 \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454; \u0431\u0435\u0437 \u0441\u0432\u043e\u0454\u0457 \u0433\u0440\u0443\u043f\u0438 \u0431\u0435\u0440\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 Googlebot<\/td>\n<td><a href=\"https:\/\/search.developer.apple.com\/applebot.json\" target=_blank>applebot.json<\/a>, DNS *.applebot.apple.com<\/td>\n<\/tr>\n<tr>\n<td>Apple<\/td>\n<td>Applebot-Extended<\/td>\n<td>\u0437\u0430\u0431\u043e\u0440\u043e\u043d\u0430 \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 Apple<\/td>\n<td>\u043b\u0438\u0448\u0435 \u0442\u043e\u043a\u0435\u043d, \u0441\u0430\u043c \u043d\u0435 \u0441\u043a\u0430\u043d\u0443\u0454<\/td>\n<td>\u043d\u0435 \u043f\u043e\u0442\u0440\u0456\u0431\u043d\u0430<\/td>\n<\/tr>\n<tr>\n<td>Meta<\/td>\n<td>meta-externalagent<\/td>\n<td>\u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f \u0439 \u0456\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0456\u044f<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454<\/td>\n<td>\u0441\u043f\u0438\u0441\u043a\u0443 \u043d\u0435\u043c\u0430\u0454<\/td>\n<\/tr>\n<tr>\n<td>Meta<\/td>\n<td>meta-webindexer<\/td>\n<td>\u043f\u043e\u0448\u0443\u043a Meta AI<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454<\/td>\n<td>\u0441\u043f\u0438\u0441\u043a\u0443 \u043d\u0435\u043c\u0430\u0454<\/td>\n<\/tr>\n<tr>\n<td>Meta<\/td>\n<td>meta-externalfetcher<\/td>\n<td>\u0437\u0430\u043f\u0438\u0442 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430<\/td>\n<td>\u043c\u043e\u0436\u0435 \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u0438<\/td>\n<td>\u0441\u043f\u0438\u0441\u043a\u0443 \u043d\u0435\u043c\u0430\u0454<\/td>\n<\/tr>\n<tr>\n<td>Amazon<\/td>\n<td>Amazonbot \u00b7 Amzn-SearchBot \u00b7 Amzn-User<\/td>\n<td>\u0441\u0435\u0440\u0432\u0456\u0441\u0438 \u0439 \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f \u00b7 \u043f\u043e\u0448\u0443\u043a Alexa \u00b7 \u0437\u0430\u043f\u0438\u0442 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u044e\u0442\u044c; Amzn-User \u043c\u043e\u0436\u0435 \u0432\u0438\u043a\u043e\u043d\u0443\u0432\u0430\u0442\u0438 \u043d\u0435 \u0432\u0441\u0456 \u043f\u0440\u0430\u0432\u0438\u043b\u0430<\/td>\n<td><a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=_blank>\u0441\u043f\u0438\u0441\u043a\u0438 \u043d\u0430 \u0441\u0442\u043e\u0440\u0456\u043d\u0446\u0456 Amazon<\/a><\/td>\n<\/tr>\n<tr>\n<td>Mistral<\/td>\n<td>MistralAI-Training \u00b7 MistralAI-Index \u00b7 MistralAI-User<\/td>\n<td>\u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f \u00b7 \u043f\u043e\u0448\u0443\u043a \u0443 Vibe \u00b7 \u0437\u0430\u043f\u0438\u0442 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430<\/td>\n<td>\u043e\u043a\u0440\u0435\u043c\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u0434\u043b\u044f \u043a\u043e\u0436\u043d\u043e\u0457 \u0440\u043e\u043b\u0456<\/td>\n<td>\u0441\u043f\u0438\u0441\u043a\u0438 \u0434\u043b\u044f Index \u0456 User<\/td>\n<\/tr>\n<tr>\n<td>DuckDuckGo<\/td>\n<td>DuckAssistBot<\/td>\n<td>\u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0456 DuckAssist, \u0431\u0435\u0437 \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454, \u0437\u043c\u0456\u043d\u0438 \u0437\u0430 72 \u0433\u043e\u0434<\/td>\n<td><a href=\"https:\/\/duckduckgo.com\/duckassistbot.json\" target=_blank>duckassistbot.json<\/a><\/td>\n<\/tr>\n<tr>\n<td>Common Crawl<\/td>\n<td>CCBot<\/td>\n<td>\u0432\u0456\u0434\u043a\u0440\u0438\u0442\u0438\u0439 \u0430\u0440\u0445\u0456\u0432 \u0432\u0435\u0431\u0443<\/td>\n<td>\u0432\u0438\u043a\u043e\u043d\u0443\u0454<\/td>\n<td><a href=\"https:\/\/index.commoncrawl.org\/ccbot.json\" target=_blank>ccbot.json<\/a>, DNS *.crawl.commoncrawl.org<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<figure class=\"wp-block-image size-full\"><img decoding=\"async\" src=\"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-krauleriv-inline-1-2026-11.png\" alt=\"\u0422\u0440\u0438 \u0440\u043e\u043b\u0456 \u0428\u0406-\u0431\u043e\u0442\u0456\u0432 \u041a\u043e\u0436\u043d\u0443 \u0440\u043e\u043b\u044c \u0432\u0456\u0434\u043a\u0440\u0438\u0432\u0430\u044e\u0442\u044c \u0430\u0431\u043e \u0437\u0430\u043a\u0440\u0438\u0432\u0430\u044e\u0442\u044c \u043e\u043a\u0440\u0435\u043c\u043e\u044e \u0433\u0440\u0443\u043f\u043e\u044e \u0432 robots.txt \u041d\u0430\u0432\u0447\u0430\u043d\u043d\u044f GPTBot ClaudeBot Google-Extended* Applebot-Extended* CCBot MistralAI-Training \u0417\u0430\u0431\u043e\u0440\u043e\u043d\u0430 \u0441\u0442\u043e\u0441\u0443\u0454\u0442\u044c\u0441\u044f \u043f\u0440\u0430\u0432 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442 \u041f\u043e\u0448\u0443\u043a OAI-SearchBot Claude-SearchBo\" width=\"1200\"\/><\/figure>\n<p>\u0414\u0432\u0456 \u0434\u0435\u0442\u0430\u043b\u0456, \u043d\u0430 \u044f\u043a\u0438\u0445 \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u043c\u0438\u043b\u044f\u044e\u0442\u044c\u0441\u044f. \u041f\u0435\u0440\u0448\u0430: \u0433\u0440\u0443\u043f\u0430 \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u0456 \u0437\u0430\u0433\u0430\u043b\u044c\u043d\u0430 \u0433\u0440\u0443\u043f\u0430 <code>*<\/code> <a href=\"https:\/\/developers.google.com\/crawling\/docs\/robots-txt\/robots-txt-spec\" target=_blank>\u043d\u0435 \u043f\u043e\u0454\u0434\u043d\u0443\u044e\u0442\u044c\u0441\u044f<\/a>. \u0411\u043e\u0442, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0443 \u0432\u043b\u0430\u0441\u043d\u0456\u0439 \u0433\u0440\u0443\u043f\u0456, \u043f\u0440\u0430\u0432\u0438\u043b \u0456\u0437 <code>*<\/code> \u0443\u0436\u0435 \u043d\u0435 \u0447\u0438\u0442\u0430\u0454. \u0414\u0440\u0443\u0433\u0430: <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=_blank>Applebot<\/a> \u0431\u0435\u0437 \u0432\u043b\u0430\u0441\u043d\u043e\u0457 \u0433\u0440\u0443\u043f\u0438 \u0432\u0438\u043a\u043e\u043d\u0443\u0454 \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0456 \u0434\u043b\u044f Googlebot.<\/p>\n<h2>\u0429\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 30 \u0434\u043d\u0456\u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u0456\u0432 chyzh.agency<\/h2>\n<p>\u042f\u043a \u0440\u0430\u0445\u0443\u0432\u0430\u043b\u0438. \u0412\u0437\u044f\u043b\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 nginx \u043d\u0430\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0443 \u0437\u0430 13.10\u201311.11.2026 (\u0447\u0430\u0441 UTC). \u0423 \u043d\u0430\u0448\u0456\u0439 \u043a\u043e\u043d\u0444\u0456\u0433\u0443\u0440\u0430\u0446\u0456\u0457 \u0436\u0443\u0440\u043d\u0430\u043b \u0437\u0430\u043f\u0438\u0441\u0443\u0454 \u0441\u043f\u0440\u0430\u0432\u0436\u043d\u0456 \u0430\u0434\u0440\u0435\u0441\u0438 \u043a\u043b\u0456\u0454\u043d\u0442\u0456\u0432. \u041a\u043e\u0436\u0435\u043d \u0437\u0430\u043f\u0438\u0442 \u0437 \u0456\u043c\u0435\u043d\u0435\u043c \u0431\u043e\u0442\u0430 \u0437\u0432\u0456\u0440\u0438\u043b\u0438 \u0437 \u043e\u0444\u0456\u0446\u0456\u0439\u043d\u0438\u043c \u0441\u043f\u0438\u0441\u043a\u043e\u043c IP \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u043c \u043d\u0430 12.11.2026. \u041e\u043a\u0440\u0435\u043c\u043e \u0432\u0438\u0434\u0456\u043b\u0438\u043b\u0438 \u0441\u043a\u0430\u043d\u0435\u0440: \u0430\u0434\u0440\u0435\u0441\u0438, \u044f\u043a\u0456 \u0437\u0430 \u043c\u0456\u0441\u044f\u0446\u044c \u043d\u0430\u0437\u0432\u0430\u043b\u0438\u0441\u044f \u0442\u0440\u044c\u043e\u043c\u0430 \u0439 \u0431\u0456\u043b\u044c\u0448\u0435 \u0440\u0456\u0437\u043d\u0438\u043c\u0438 \u0428\u0406-\u0431\u043e\u0442\u0430\u043c\u0438 \u0430\u0431\u043e \u0448\u0443\u043a\u0430\u043b\u0438 \u0444\u0430\u0439\u043b\u0438 .env, \u043a\u043b\u044e\u0447\u0456 \u0439 \u043f\u0430\u0440\u043e\u043b\u0456.<\/p>\n<figure class=\"wp-block-table\">\n<table>\n<thead>\n<tr>\n<th>\u0411\u043e\u0442<\/th>\n<th>\u0417\u0430\u043f\u0438\u0442\u0456\u0432 \u0437 \u0446\u0438\u043c \u0456\u043c&#8217;\u044f\u043c<\/th>\n<th>\u0417 \u043e\u0444\u0456\u0446\u0456\u0439\u043d\u0438\u0445 IP<\/th>\n<th>\u0421\u043a\u0430\u043d\u0435\u0440 \u043f\u0456\u0434 \u0447\u0443\u0436\u0438\u043c \u0456\u043c&#8217;\u044f\u043c<\/th>\n<th>\u0406\u043d\u0448\u0456 IP \u043f\u043e\u0437\u0430 \u0441\u043f\u0438\u0441\u043a\u043e\u043c<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>GPTBot<\/td>\n<td>2 335<\/td>\n<td>2 248<\/td>\n<td>87<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>ClaudeBot<\/td>\n<td>1 833<\/td>\n<td>1 752<\/td>\n<td>81<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>PerplexityBot<\/td>\n<td>930<\/td>\n<td>833<\/td>\n<td>97<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>OAI-SearchBot<\/td>\n<td>371<\/td>\n<td>272<\/td>\n<td>99<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>ChatGPT-User<\/td>\n<td>337<\/td>\n<td>195<\/td>\n<td>109<\/td>\n<td>33<\/td>\n<\/tr>\n<tr>\n<td>Claude-User<\/td>\n<td>184<\/td>\n<td>26<\/td>\n<td>71<\/td>\n<td>87<\/td>\n<\/tr>\n<tr>\n<td>Claude-SearchBot<\/td>\n<td>76<\/td>\n<td>0<\/td>\n<td>76<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>Perplexity-User<\/td>\n<td>67<\/td>\n<td>0<\/td>\n<td>67<\/td>\n<td>0<\/td>\n<\/tr>\n<tr>\n<td>Googlebot, \u0434\u043b\u044f \u043f\u043e\u0440\u0456\u0432\u043d\u044f\u043d\u043d\u044f<\/td>\n<td>2 510<\/td>\n<td>2 100<\/td>\n<td>177<\/td>\n<td>233<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-krauleriv-inline-2-2026-11.png\" alt=\"\u0425\u0442\u043e \u0441\u043f\u0440\u0430\u0432\u0436\u043d\u0456\u0439: 30 \u0434\u043d\u0456\u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u0456\u0432 chyzh.agency \u0427\u0430\u0441\u0442\u043a\u0430 \u0437\u0430\u043f\u0438\u0442\u0456\u0432 \u0437 \u0456\u043c\u0435\u043d\u0435\u043c \u0431\u043e\u0442\u0430 \u0437\u0430 \u0434\u0436\u0435\u0440\u0435\u043b\u043e\u043c \u0430\u0434\u0440\u0435\u0441\u0438 \u0437 \u043e\u0444\u0456\u0446\u0456\u0439\u043d\u0438\u0445 IP \u0441\u043a\u0430\u043d\u0435\u0440 \u043f\u0456\u0434 \u0447\u0443\u0436\u0438\u043c \u0456\u043c&#x27;\u044f\u043c \u0456\u043d\u0448\u0456 IP \u043f\u043e\u0437\u0430 \u0441\u043f\u0438\u0441\u043a\u043e\u043c GPTBot 96% \u00b7 2 335 ClaudeBot 96% \u00b7 1 833 PerplexityBot 90% \u00b7 930 OAI-SearchBot 73% \u00b7 371\" width=\"1200\"\/><\/figure>\n<p><strong>\u0406\u043c\u0435\u043d\u0430 \u0428\u0406-\u0431\u043e\u0442\u0456\u0432 \u0432\u0438\u043a\u043e\u0440\u0438\u0441\u0442\u043e\u0432\u0443\u0454 \u0441\u043a\u0430\u043d\u0435\u0440.<\/strong> \u0422\u0430\u043a\u0438\u0445 \u0430\u0434\u0440\u0435\u0441 38. \u0417 \u043d\u0438\u0445 24 \u043f\u043e \u0447\u0435\u0440\u0437\u0456 \u043d\u0430\u0437\u0438\u0432\u0430\u043b\u0438 \u0441\u0435\u0431\u0435 \u0442\u0440\u044c\u043e\u043c\u0430 \u0439 \u0431\u0456\u043b\u044c\u0448\u0435 \u0431\u043e\u0442\u0430\u043c\u0438, 34 \u0448\u0443\u043a\u0430\u043b\u0438 .env, \u043a\u043b\u044e\u0447\u0456 \u0445\u043c\u0430\u0440\u043d\u0438\u0445 \u0441\u0435\u0440\u0432\u0456\u0441\u0456\u0432 \u0456 SSH. 20 \u0430\u0434\u0440\u0435\u0441 \u043d\u0430\u043b\u0435\u0436\u0430\u0442\u044c Google Cloud, 13 Cloudflare. Claude-SearchBot \u0456 Perplexity-User \u0437\u0430 30 \u0434\u043d\u0456\u0432 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u0438 \u043b\u0438\u0448\u0435 \u0432\u0456\u0434 \u0441\u043a\u0430\u043d\u0435\u0440\u0430, \u0441\u043f\u0440\u0430\u0432\u0436\u043d\u0456\u0445 \u0432\u0456\u0437\u0438\u0442\u0456\u0432 \u0446\u0438\u0445 \u0431\u043e\u0442\u0456\u0432 \u0443 \u0436\u0443\u0440\u043d\u0430\u043b\u0456 \u043d\u0435\u043c\u0430\u0454. \u0417\u0430\u0433\u0430\u043b\u043e\u043c \u0456\u0437 6 301 \u0437\u0430\u043f\u0438\u0442\u0443 \u0437 \u0456\u043c\u0435\u043d\u0430\u043c\u0438 \u0431\u043e\u0442\u0456\u0432 OpenAI, Anthropic, Perplexity \u0456 DuckDuckGo 964 (15,3%) \u043f\u0440\u0438\u0439\u0448\u043b\u0438 \u043d\u0435 \u0437 \u0430\u0434\u0440\u0435\u0441 \u0446\u0438\u0445 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c.<\/p>\n<p><strong>\u041f\u0435\u0440\u0435\u0432\u0456\u0440\u0435\u043d\u0438\u0445 \u0437\u0430\u043f\u0438\u0442\u0456\u0432 \u0432\u0456\u0434 \u0428\u0406-\u0431\u043e\u0442\u0456\u0432 \u0431\u0456\u043b\u044c\u0448\u0435, \u043d\u0456\u0436 \u0432\u0456\u0434 Googlebot.<\/strong> \u0411\u043e\u0442\u0438 OpenAI, Anthropic \u0456 Perplexity \u0437\u0440\u043e\u0431\u0438\u043b\u0438 5 326 \u0437\u0430\u043f\u0438\u0442\u0456\u0432 \u0437 \u043e\u0444\u0456\u0446\u0456\u0439\u043d\u0438\u0445 \u0430\u0434\u0440\u0435\u0441, Googlebot 2 100, \u0443 2,5 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u0448\u0435. \u0421\u043a\u0456\u043b\u044c\u043a\u0438 \u0437 \u0446\u0438\u0445 \u0432\u0456\u0437\u0438\u0442\u0456\u0432 \u0437\u0430\u043a\u0456\u043d\u0447\u0438\u043b\u0438\u0441\u044f \u0446\u0438\u0442\u0443\u0432\u0430\u043d\u043d\u044f\u043c, \u0436\u0443\u0440\u043d\u0430\u043b \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0443\u0454.<\/p>\n<p><strong>GPTBot \u0447\u0438\u0442\u0430\u0454 \u043f\u0435\u0440\u0435\u0432\u0430\u0436\u043d\u043e \u043a\u0430\u0440\u0442\u0438 \u0441\u0430\u0439\u0442\u0443.<\/strong> \u041d\u0430 sitemap-\u0444\u0430\u0439\u043b\u0438 \u043f\u0440\u0438\u043f\u0430\u043b\u043e 77% \u0439\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0435\u043d\u0438\u0445 \u0437\u0430\u043f\u0438\u0442\u0456\u0432, \u043d\u0430 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0438 \u0439 \u0437\u0430\u043f\u0438\u0441\u0438 13%. 901 \u0437\u0430\u043f\u0438\u0442 \u043f\u0456\u0448\u043e\u0432 \u043d\u0430 \/ru\/sitemap_index.xml, \u044f\u043a\u043e\u0457 \u043d\u0435 \u0456\u0441\u043d\u0443\u0454, \u0442\u043e\u0431\u0442\u043e \u043e\u0442\u0440\u0438\u043c\u0430\u0432 404. \u0417 16.10 \u043f\u043e 06.11 \u0446\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044e\u0432\u0430\u043b\u043e\u0441\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u043d\u043e 40 \u0440\u0430\u0437\u0456\u0432 \u043d\u0430 \u0434\u043e\u0431\u0443. \u0410\u0434\u0440\u0435\u0441\u0443 \u043d\u0430\u0437\u0438\u0432\u0430\u0454 \u0441\u043b\u0443\u0436\u0431\u043e\u0432\u0438\u0439 \/ru\/robots.txt, \u044f\u043a\u0438\u0439 WordPress \u0456\u0437 Yoast \u0433\u0435\u043d\u0435\u0440\u0443\u0454 \u0434\u043b\u044f \u043c\u043e\u0432\u043d\u043e\u0457 \u0432\u0435\u0440\u0441\u0456\u0457. \u041d\u0430 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0430\u0445 \u0441\u0430\u0439\u0442\u0443 \u0439 \u0443 \u0433\u043e\u043b\u043e\u0432\u043d\u0456\u0439 \u043a\u0430\u0440\u0442\u0456 \u0441\u0430\u0439\u0442\u0443 \u0457\u0457 \u043d\u0435\u043c\u0430\u0454. \u041f\u043e\u043c\u0438\u043b\u043a\u0443 \u043c\u0438 \u0437\u043d\u0430\u0439\u0448\u043b\u0438 \u0441\u0430\u043c\u0435 \u043f\u0456\u0434 \u0447\u0430\u0441 \u0446\u044c\u043e\u0433\u043e \u0440\u043e\u0437\u0431\u043e\u0440\u0443 \u0456 12.11.2026 \u0432\u0438\u043f\u0440\u0430\u0432\u0438\u043b\u0438: \/ru\/robots.txt, \/ua\/robots.txt \u0456 \u043a\u0430\u0440\u0442\u0438 \u0441\u0430\u0439\u0442\u0443 \u0432 \u043c\u043e\u0432\u043d\u0438\u0445 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430\u0445 \u0442\u0435\u043f\u0435\u0440 \u043f\u0435\u0440\u0435\u0430\u0434\u0440\u0435\u0441\u043e\u0432\u0443\u044e\u0442\u044c (301) \u043d\u0430 \u043a\u043e\u0440\u0435\u043d\u0435\u0432\u0456 \u0444\u0430\u0439\u043b\u0438.<\/p>\n<p><strong>\u0417\u0430\u043f\u0438\u0442\u0438 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0456\u0432 \u0432\u0438\u0434\u043d\u043e \u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u0456.<\/strong> ChatGPT-User \u043f\u0440\u0438\u0439\u0448\u043e\u0432 195 \u0440\u0430\u0437\u0456\u0432 \u0456\u0437 164 \u0440\u0456\u0437\u043d\u0438\u0445 \u0430\u0434\u0440\u0435\u0441 OpenAI, \u0443\u0441\u0456 \u0437 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0434\u044e 200: \u0433\u043e\u043b\u043e\u0432\u043d\u0430 86, \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0438 \u0439 \u0437\u0430\u043f\u0438\u0441\u0438 80, \u043a\u0435\u0439\u0441\u0438 25. Claude-User \u0437 \u0430\u0434\u0440\u0435\u0441 \u0437\u0456 \u0441\u043f\u0438\u0441\u043a\u0443 Anthropic \u043f\u0440\u0438\u0439\u0448\u043e\u0432 \u043b\u0438\u0448\u0435 26 \u0440\u0430\u0437\u0456\u0432. \u0429\u0435 87 \u0437\u0430\u043f\u0438\u0442\u0456\u0432 \u0456\u0437 \u0446\u0438\u043c \u0456\u043c&#8217;\u044f\u043c \u043d\u0430\u0434\u0456\u0439\u0448\u043b\u0438 \u0437 \u0430\u0434\u0440\u0435\u0441 \u043f\u043e\u0437\u0430 \u0441\u043f\u0438\u0441\u043a\u043e\u043c, \u043c\u0430\u0439\u0436\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0446\u0438\u0445 \u0430\u0434\u0440\u0435\u0441 \u0443 Google Cloud. \u0427\u0438 \u0446\u0435 Anthropic \u0437 \u043d\u043e\u0432\u0438\u0445 \u0430\u0434\u0440\u0435\u0441, \u0447\u0438 \u043f\u0456\u0434\u0440\u043e\u0431\u043a\u0430, \u0437 \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u0438\u0445 \u0441\u043a\u0430\u0437\u0430\u0442\u0438 \u043d\u0435 \u043c\u043e\u0436\u043d\u0430.<\/p>\n<p><strong>\u0427\u0438 \u0447\u0438\u0442\u0430\u044e\u0442\u044c \u0431\u043e\u0442\u0438 robots.txt, \u0437 \u0436\u0443\u0440\u043d\u0430\u043b\u0443 \u043d\u0435 \u0432\u0438\u0434\u043d\u043e.<\/strong> \u0422\u0438\u043f\u043e\u0432\u0438\u0439 \u0448\u0430\u0431\u043b\u043e\u043d nginx \u043d\u0430 \u043d\u0430\u0448\u043e\u043c\u0443 \u0441\u0435\u0440\u0432\u0435\u0440\u0456 \u0432\u0438\u043c\u0438\u043a\u0430\u0454 \u0437\u0430\u043f\u0438\u0441 \u0434\u043b\u044f <code>\/robots.txt<\/code> \u0440\u044f\u0434\u043a\u043e\u043c <code>access_log off<\/code>. \u042f\u043a\u0449\u043e \u0445\u043e\u0447\u0435\u0442\u0435 \u0431\u0430\u0447\u0438\u0442\u0438, \u043a\u043e\u043b\u0438 \u0431\u043e\u0442\u0438 \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0443\u044e\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0442\u0435 \u0446\u0435\u0439 \u0440\u044f\u0434\u043e\u043a \u0443 \u0441\u0432\u043e\u0457\u0439 \u043a\u043e\u043d\u0444\u0456\u0433\u0443\u0440\u0430\u0446\u0456\u0457.<\/p>\n<p>\u041c\u0435\u0436\u0456 \u0446\u0438\u0445 \u0434\u0430\u043d\u0438\u0445. \u041e\u0434\u0438\u043d \u0441\u0430\u0439\u0442 \u0430\u0433\u0435\u043d\u0446\u0456\u0457 \u0437\u0430 30 \u0434\u043d\u0456\u0432. \u0421\u043f\u0438\u0441\u043a\u0438 IP \u043c\u0438 \u0432\u0437\u044f\u043b\u0438 \u0441\u0442\u0430\u043d\u043e\u043c \u043d\u0430 12.11.2026, \u0430 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0438 \u0457\u0445 \u043e\u043d\u043e\u0432\u043b\u044e\u044e\u0442\u044c: OpenAI \u043e\u043d\u043e\u0432\u0438\u043b\u0430 \u0441\u043f\u0438\u0441\u043e\u043a ChatGPT-User 06.11, Perplexity \u0441\u0432\u043e\u0457 28.10, Anthropic 20.10. \u0422\u043e\u0436 \u0447\u0430\u0441\u0442\u0438\u043d\u0430 \u00ab\u0456\u043d\u0448\u0438\u0445 IP \u043f\u043e\u0437\u0430 \u0441\u043f\u0438\u0441\u043a\u043e\u043c\u00bb \u043c\u043e\u0436\u0435 \u0431\u0443\u0442\u0438 \u0441\u043f\u0440\u0430\u0432\u0436\u043d\u044c\u043e\u044e. Bytespider \u0456 \u0431\u043e\u0442\u0438 Meta \u043e\u0444\u0456\u0446\u0456\u0439\u043d\u0438\u0445 \u0441\u043f\u0438\u0441\u043a\u0456\u0432 IP \u043d\u0435 \u043c\u0430\u044e\u0442\u044c, \u0457\u0445 \u043c\u0438 \u043d\u0435 \u0437\u0432\u0456\u0440\u044f\u043b\u0438.<\/p>\n<h2>\u0429\u043e \u0437\u0430\u043a\u0440\u0438\u0432\u0430\u044e\u0442\u044c \u0432\u0435\u043b\u0438\u043a\u0456 \u0443\u043a\u0440\u0430\u0457\u043d\u0441\u044c\u043a\u0456 \u0441\u0430\u0439\u0442\u0438<\/h2>\n<p>\u042f\u043a \u0440\u0430\u0445\u0443\u0432\u0430\u043b\u0438. 12.11.2026 \u043c\u0438 \u0437\u0430\u0432\u0430\u043d\u0442\u0430\u0436\u0438\u043b\u0438 robots.txt 55 \u0432\u0435\u043b\u0438\u043a\u0438\u0445 \u043f\u0443\u0431\u043b\u0456\u0447\u043d\u0438\u0445 \u0441\u0430\u0439\u0442\u0456\u0432: 16 \u0456\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0456\u0432, 10 \u043c\u0430\u0440\u043a\u0435\u0442\u043f\u043b\u0435\u0439\u0441\u0456\u0432 \u0456 \u0434\u043e\u0449\u043e\u043a \u043e\u0433\u043e\u043b\u043e\u0448\u0435\u043d\u044c, 16 \u043c\u0435\u0434\u0456\u0430, 8 \u0431\u0430\u043d\u043a\u0456\u0432, 5 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0456\u0432 \u0437\u0432&#8217;\u044f\u0437\u043a\u0443 \u0439 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438. \u0424\u0430\u0439\u043b\u0438 \u0440\u043e\u0437\u0456\u0431\u0440\u0430\u043b\u0438 \u0437\u0430 \u0442\u0438\u043c\u0438 \u0441\u0430\u043c\u0438\u043c\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438, \u0449\u043e \u0439 \u043d\u0430\u0448 \u0447\u0435\u043a\u0435\u0440. \u041f\u043e\u0442\u0456\u043c \u0442\u0440\u0438\u0447\u0456 \u0437\u0430\u043f\u0440\u043e\u0441\u0438\u043b\u0438 \u0433\u043e\u043b\u043e\u0432\u043d\u0443 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0443 \u043a\u043e\u0436\u043d\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0443 \u0437 \u043f\u0456\u0434\u043f\u0438\u0441\u043e\u043c \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0430 \u0456 \u0437 \u043f\u0456\u0434\u043f\u0438\u0441\u0430\u043c\u0438 \u043f&#8217;\u044f\u0442\u0438 \u0428\u0406-\u0431\u043e\u0442\u0456\u0432.<\/p>\n<ul>\n<li>47 \u0444\u0430\u0439\u043b\u0456\u0432 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b\u0438\u0441\u044f. 8 \u0441\u0430\u0439\u0442\u0456\u0432 \u0437\u0430\u043c\u0456\u0441\u0442\u044c robots.txt \u0432\u0456\u0434\u0434\u0430\u043b\u0438 HTML-\u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0443 \u0437 \u043f\u043e\u043c\u0438\u043b\u043a\u043e\u044e, \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u043e\u044e \u0430\u0431\u043e \u0437\u0430\u0433\u043b\u0443\u0448\u043a\u043e\u044e, 4 \u0437 \u043d\u0438\u0445 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0443 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0438 Cloudflare.<\/li>\n<li>\u0416\u043e\u0434\u0435\u043d \u0456\u0437 47 \u0444\u0430\u0439\u043b\u0456\u0432 \u043d\u0435 \u0437\u0430\u043a\u0440\u0438\u0432\u0430\u0454 \u0432\u0435\u0441\u044c \u0441\u0430\u0439\u0442 \u0434\u043b\u044f GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot \u0447\u0438 ChatGPT-User. 5 \u0441\u0430\u0439\u0442\u0456\u0432 \u0437\u0430\u043a\u0440\u0438\u0432\u0430\u044e\u0442\u044c \u0456\u043d\u0448\u0438\u0445 \u0431\u043e\u0442\u0456\u0432: Amazonbot (3), CCBot, Bytespider \u0456 meta-externalagent (\u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443).<\/li>\n<li>13 \u0441\u0430\u0439\u0442\u0456\u0432 \u043d\u0430\u0437\u0438\u0432\u0430\u044e\u0442\u044c \u0428\u0406-\u0431\u043e\u0442\u0456\u0432 \u043f\u043e\u0456\u043c\u0435\u043d\u043d\u043e. \u041d\u0430 4 \u0437 \u043d\u0438\u0445 \u0431\u043e\u0442 \u043e\u0442\u0440\u0438\u043c\u0443\u0454 \u0432\u043b\u0430\u0441\u043d\u0443 \u0433\u0440\u0443\u043f\u0443 \u043b\u0438\u0448\u0435 \u0437 <code>Allow: \/<\/code> \u0456 \u0447\u0435\u0440\u0435\u0437 \u0446\u0435 \u043d\u0435 \u0431\u0430\u0447\u0438\u0442\u044c \u0432\u0456\u0434 3 \u0434\u043e 47 \u0437\u0430\u0431\u043e\u0440\u043e\u043d \u0456\u0437 \u0433\u0440\u0443\u043f\u0438 <code>*<\/code>: \u043f\u043e\u0448\u0443\u043a\u0443, \u043e\u0441\u043e\u0431\u0438\u0441\u0442\u043e\u0433\u043e \u043a\u0430\u0431\u0456\u043d\u0435\u0442\u0443, \u043a\u043e\u0448\u0438\u043a\u0430.<\/li>\n<li>33 \u0437 55 \u0441\u0430\u0439\u0442\u0456\u0432 \u043f\u0440\u0430\u0446\u044e\u044e\u0442\u044c \u0447\u0435\u0440\u0435\u0437 Cloudflare, \u0441\u0443\u0434\u044f\u0447\u0438 \u0456\u0437 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430 Server.<\/li>\n<li>16 \u0441\u0430\u0439\u0442\u0456\u0432 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u043b\u0438 403 \u0430\u0431\u043e 503 \u043d\u0430\u0432\u0456\u0442\u044c \u043d\u0430 \u0437\u0430\u043f\u0438\u0442 \u0456\u0437 \u043f\u0456\u0434\u043f\u0438\u0441\u043e\u043c \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0430, \u0442\u043e\u0436 \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0440\u0435\u0430\u0433\u0443\u0454 \u043d\u0430 \u043d\u0430\u0448 \u043a\u043b\u0456\u0454\u043d\u0442, \u0456 \u043f\u043e\u0440\u0456\u0432\u043d\u044e\u0432\u0430\u0442\u0438 \u0442\u0430\u043c \u043d\u0456\u0447\u043e\u0433\u043e. \u0417 \u0440\u0435\u0448\u0442\u0438 39 \u0441\u0430\u0439\u0442\u0456\u0432 9 \u0443 \u0432\u0441\u0456\u0445 \u0442\u0440\u044c\u043e\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u0445 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0430\u043b\u0438 \u043d\u0430 \u0456\u043c&#8217;\u044f \u0428\u0406-\u0431\u043e\u0442\u0430 \u0456\u043d\u0430\u043a\u0448\u0435, \u043d\u0456\u0436 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0443: 403, 429, 503 \u0430\u0431\u043e \u0442\u0438\u0448\u0430. ClaudeBot \u043e\u0442\u0440\u0438\u043c\u0430\u0432 \u0432\u0456\u0434\u043c\u043e\u0432\u0443 \u043d\u0430 \u0432\u0441\u0456\u0445 9, GPTBot \u0456 PerplexityBot \u043d\u0430 4. Robots.txt \u043d\u0430 \u0432\u0441\u0456\u0445 9 \u0446\u044c\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u0434\u043e\u0437\u0432\u043e\u043b\u044f\u0454, \u043d\u0430 \u0434\u0432\u043e\u0445 \u043d\u0430\u0432\u0456\u0442\u044c \u043e\u043a\u0440\u0435\u043c\u043e\u044e \u0433\u0440\u0443\u043f\u043e\u044e.<\/li>\n<\/ul>\n<p>\u041c\u0435\u0436\u0456 \u0446\u0438\u0445 \u0434\u0430\u043d\u0438\u0445. \u041c\u0438 \u043f\u0456\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u043b\u0438\u0448\u0435 \u0456\u043c&#8217;\u044f \u0431\u043e\u0442\u0430 \u0437 \u043d\u0430\u0448\u043e\u0457 \u0430\u0434\u0440\u0435\u0441\u0438. \u0424\u0430\u0439\u0440\u0432\u043e\u043b \u043c\u043e\u0436\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0442\u0438 \u0441\u043f\u0440\u0430\u0432\u0436\u043d\u044c\u043e\u0433\u043e ClaudeBot \u0437 \u0430\u0434\u0440\u0435\u0441 Anthropic \u0456 \u0432\u0456\u0434\u0441\u0456\u043a\u0430\u0442\u0438 \u0442\u0438\u0445, \u0445\u0442\u043e \u043b\u0438\u0448\u0435 \u043d\u0430\u0437\u0432\u0430\u0432\u0441\u044f \u043d\u0438\u043c, \u044f\u043a \u0441\u043a\u0430\u043d\u0435\u0440 \u0443 \u043d\u0430\u0448\u0438\u0445 \u0436\u0443\u0440\u043d\u0430\u043b\u0430\u0445. \u042f\u043a \u0441\u0430\u0439\u0442 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0430\u0454 \u0441\u043f\u0440\u0430\u0432\u0436\u043d\u0456\u043c \u0431\u043e\u0442\u0430\u043c, \u0432\u0438\u0434\u043d\u043e \u0442\u0456\u043b\u044c\u043a\u0438 \u0432 \u0439\u043e\u0433\u043e \u0436\u0443\u0440\u043d\u0430\u043b\u0430\u0445 \u0456 \u043f\u0430\u043d\u0435\u043b\u0456 CDN.<\/p>\n<h2>\u041f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0443 \u0437\u0430 \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432<\/h2>\n<ol>\n<li>\n<p><strong>\u041f\u0440\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435 robots.txt \u043e\u0447\u0438\u043c\u0430 \u0431\u043e\u0442\u0430.<\/strong> \u0414\u043b\u044f \u043a\u043e\u0436\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u0440\u0456\u0431\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u0437\u043d\u0430\u0439\u0434\u0456\u0442\u044c \u0439\u043e\u0433\u043e \u0433\u0440\u0443\u043f\u0443. \u041d\u0435\u043c\u0430\u0454 \u0433\u0440\u0443\u043f\u0438, \u0434\u0456\u0454 <code>*<\/code>. \u0404 \u0433\u0440\u0443\u043f\u0430, \u0431\u043e\u0442 \u0447\u0438\u0442\u0430\u0454 \u043b\u0438\u0448\u0435 \u0457\u0457. \u041f\u0456\u0434\u0434\u043e\u043c\u0435\u043d\u0438 \u043c\u0430\u044e\u0442\u044c \u0432\u043b\u0430\u0441\u043d\u0456 robots.txt. \u041a\u043e\u0434 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0456 \u0442\u0435\u0436 \u043c\u0430\u0454 \u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044f: \u043d\u0430 4xx (\u043a\u0440\u0456\u043c 429) Google \u0432\u0432\u0430\u0436\u0430\u0454, \u0449\u043e \u043e\u0431\u043c\u0435\u0436\u0435\u043d\u044c \u043d\u0435\u043c\u0430\u0454, \u0430 \u043d\u0430 5xx <a href=\"https:\/\/developers.google.com\/crawling\/docs\/robots-txt\/robots-txt-spec\" target=_blank>\u043f\u0435\u0440\u0448\u0456 12 \u0433\u043e\u0434\u0438\u043d<\/a> \u0437\u0443\u043f\u0438\u043d\u044f\u0454 \u0441\u043a\u0430\u043d\u0443\u0432\u0430\u043d\u043d\u044f \u0441\u0430\u0439\u0442\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u043f\u0443\u0441\u0442\u0456\u0442\u044c \u0434\u043e\u043c\u0435\u043d \u0447\u0435\u0440\u0435\u0437 \u0447\u0435\u043a\u0435\u0440.<\/strong> \u041d\u0430\u0448 <a href=\"https:\/\/audit.chyzh.agency\/ua\/tools\/ai-crawler-checker\/\">\u0447\u0435\u043a\u0435\u0440 \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432<\/a> \u0440\u043e\u0437\u0431\u0438\u0440\u0430\u0454 robots.txt \u0434\u043b\u044f 23 \u0431\u043e\u0442\u0456\u0432, \u0433\u0440\u0443\u043f\u0443\u0454 \u0457\u0445 \u0437\u0430 \u0440\u043e\u043b\u044f\u043c\u0438 \u0456 \u043f\u043e\u043a\u0430\u0437\u0443\u0454 \u0440\u044f\u0434\u043e\u043a, \u044f\u043a\u0438\u0439 \u0441\u043f\u0440\u0430\u0446\u044e\u0432\u0430\u0432. \u041f\u0440\u0430\u0432\u0438\u043b \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430 \u0432\u0456\u043d \u043d\u0435 \u0431\u0430\u0447\u0438\u0442\u044c, \u0442\u043e\u043c\u0443 \u0432\u0435\u0440\u0434\u0438\u043a\u0442 \u0437\u0432\u0443\u0447\u0438\u0442\u044c \u044f\u043a \u00ab\u0434\u043e\u0437\u0432\u043e\u043b\u0435\u043d\u043e robots.txt\u00bb.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0435\u0440\u0435\u0432\u0456\u0440\u0442\u0435 CDN \u0456 \u0444\u0430\u0439\u0440\u0432\u043e\u043b.<\/strong> \u0423 Cloudflare \u0446\u0435 Security \u2192 Settings \u2192 Bot traffic \u2192 <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=_blank>AI Crawler and Agent access policies<\/a>. \u0414\u043b\u044f \u043f\u043e\u0448\u0443\u043a\u0443, \u0430\u0433\u0435\u043d\u0442\u0456\u0432 \u0456 \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f \u043e\u043a\u0440\u0435\u043c\u043e \u043e\u0431\u0438\u0440\u0430\u044e\u0442\u044c Block, Block on pages with ads \u0430\u0431\u043e Allow, \u0430 \u0434\u043b\u044f \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f \u0449\u0435 Disallow \u0447\u0435\u0440\u0435\u0437 robots.txt. \u042f\u043a\u0449\u043e \u0432\u0432\u0456\u043c\u043a\u043d\u0435\u043d\u043e Bot Preference Sync \u0456 \u0445\u043e\u0447 \u043e\u0434\u043d\u0430 \u043f\u043e\u043b\u0456\u0442\u0438\u043a\u0430 \u0431\u043b\u043e\u043a\u0443\u0454, Cloudflare <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/managed-robots-txt\/\" target=_blank>\u0434\u043e\u043f\u0438\u0441\u0443\u0454 \u0441\u0432\u043e\u0457 \u0437\u0430\u0431\u043e\u0440\u043e\u043d\u0438<\/a> \u043d\u0430 \u043f\u043e\u0447\u0430\u0442\u043e\u043a \u0432\u0430\u0448\u043e\u0433\u043e robots.txt. <a href=\"https:\/\/developers.cloudflare.com\/bots\/get-started\/bot-fight-mode\/\" target=_blank>Bot Fight Mode<\/a> \u0432\u0438\u043d\u044f\u0442\u043a\u0430\u043c\u0438 \u0443 WAF \u043d\u0435 \u043e\u0431\u0456\u0439\u0442\u0438. \u0422\u0438\u043f\u043e\u0432\u0456 \u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044f \u0437\u043c\u0456\u043d\u044e\u0432\u0430\u043b\u0438\u0441\u044f: \u0443 <a href=\"https:\/\/blog.cloudflare.com\/content-independence-day-no-ai-crawl-without-compensation\/\" target=_blank>\u043b\u0438\u043f\u043d\u0456 2025 \u0440\u043e\u043a\u0443<\/a> Cloudflare \u043e\u0433\u043e\u043b\u043e\u0441\u0438\u043b\u0430 \u0431\u043b\u043e\u043a\u0443\u0432\u0430\u043d\u043d\u044f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0437\u0430 \u0437\u0430\u043c\u043e\u0432\u0447\u0443\u0432\u0430\u043d\u043d\u044f\u043c, \u0430 \u0447\u0438\u043d\u043d\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0456\u044f (\u043e\u043d\u043e\u0432\u043b\u0435\u043d\u0430 02.11.2026) \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u043e\u0432\u0438\u043c \u0434\u043e\u043c\u0435\u043d\u0430\u043c Allow. \u0414\u0438\u0432\u0456\u0442\u044c\u0441\u044f \u043d\u0430\u043b\u0430\u0448\u0442\u0443\u0432\u0430\u043d\u043d\u044f \u0441\u0432\u043e\u0454\u0457 \u0437\u043e\u043d\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u043f\u0438\u0442\u0430\u0439\u0442\u0435 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0443 \u0432\u0456\u0434 \u0456\u043c\u0435\u043d\u0456 \u0431\u043e\u0442\u0430.<\/strong> \u041f\u043e\u0440\u0456\u0432\u043d\u044f\u0439\u0442\u0435 \u043a\u043e\u0434 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0456 \u0434\u043b\u044f \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0430 \u0439 \u0434\u043b\u044f \u0431\u043e\u0442\u0430:<\/p>\n<pre><code>curl -s -o \/dev\/null -w \"%{http_code}\\n\" -A \"Mozilla\/5.0\" https:\/\/example.com\/\ncurl -s -o \/dev\/null -w \"%{http_code}\\n\" -A \"Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; ClaudeBot\/1.0; +claudebot@anthropic.com)\" https:\/\/example.com\/\n<\/code><\/pre>\n<p>\u0420\u0456\u0437\u043d\u0456 \u043a\u043e\u0434\u0438 \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442\u044c, \u0449\u043e \u0441\u0435\u0440\u0432\u0435\u0440 \u0440\u0435\u0430\u0433\u0443\u0454 \u043d\u0430 \u0456\u043c&#8217;\u044f. \u0427\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u0456\u043d \u0441\u043f\u0440\u0430\u0432\u0436\u043d\u044c\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u0437 \u0439\u043e\u0433\u043e \u0430\u0434\u0440\u0435\u0441\u0438, \u0446\u0435\u0439 \u0442\u0435\u0441\u0442 \u043d\u0435 \u043f\u043e\u043a\u0430\u0436\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u0434\u0438\u0432\u0456\u0442\u044c\u0441\u044f \u0436\u0443\u0440\u043d\u0430\u043b\u0438.<\/strong> \u041f\u043e\u0440\u0430\u0445\u0443\u0439\u0442\u0435 \u0437\u0430\u043f\u0438\u0442\u0438 \u0439 \u043a\u043e\u0434\u0438 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0456 \u0437\u0430 \u043a\u043e\u0436\u043d\u0438\u043c \u0431\u043e\u0442\u043e\u043c, \u043d\u0430\u043f\u0440\u0438\u043a\u043b\u0430\u0434 \u0434\u043b\u044f ClaudeBot:<\/p>\n<pre><code>grep \"ClaudeBot\" access.log | awk '{print $9}' | sort | uniq -c\n<\/code><\/pre>\n<p>\u041e\u043a\u0440\u0435\u043c\u043e \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0442\u0435, \u0447\u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u0443\u0437\u0430\u0433\u0430\u043b\u0456 \u0437\u0430\u043f\u0438\u0441\u0443\u0454 \u0437\u0430\u043f\u0438\u0442\u0438 \u0434\u043e <code>\/robots.txt<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0432\u0456\u0440\u0442\u0435 IP.<\/strong> \u0410\u0434\u0440\u0435\u0441\u0438 \u0437 \u0436\u0443\u0440\u043d\u0430\u043b\u0443 \u043f\u043e\u0440\u0456\u0432\u043d\u044f\u0439\u0442\u0435 \u0437\u0456 \u0441\u043f\u0438\u0441\u043a\u0430\u043c\u0438 \u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u0456 \u0432\u0438\u0449\u0435. Google, Apple \u0456 Common Crawl \u0434\u043e\u0434\u0430\u0442\u043a\u043e\u0432\u043e \u0434\u0430\u044e\u0442\u044c \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0443 \u0447\u0435\u0440\u0435\u0437 \u0437\u0432\u043e\u0440\u043e\u0442\u043d\u0438\u0439 \u0456 \u043f\u0440\u044f\u043c\u0438\u0439 DNS, \u043f\u0440\u0438\u043a\u043b\u0430\u0434 <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/verify-google-requests\" target=_blank>\u0456\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0456\u0457 Google<\/a>:<\/p>\n<pre><code>host 66.249.66.1\nhost crawl-66-249-66-1.googlebot.com\n<\/code><\/pre>\n<p>\u0417\u0430\u043f\u0438\u0442\u0438, \u044f\u043a\u0456 \u0437\u0432\u0456\u0440\u043a\u0443 \u043d\u0435 \u043f\u0440\u043e\u0439\u0448\u043b\u0438, \u043d\u0435 \u0440\u0430\u0445\u0443\u0439\u0442\u0435 \u0432\u0456\u0437\u0438\u0442\u0430\u043c\u0438 \u0431\u043e\u0442\u0456\u0432 \u0456 \u043d\u0435 \u0432\u0456\u0434\u043a\u0440\u0438\u0432\u0430\u0439\u0442\u0435 \u0434\u043b\u044f \u043d\u0438\u0445 \u0444\u0430\u0439\u0440\u0432\u043e\u043b.<\/p>\n<\/li>\n<\/ol>\n<h2>\u041a\u043e\u0433\u043e \u043f\u0443\u0441\u043a\u0430\u0442\u0438, \u0430 \u043a\u043e\u0433\u043e \u0437\u0430\u043a\u0440\u0438\u0432\u0430\u0442\u0438<\/h2>\n<p>\u0414\u043b\u044f \u0441\u0430\u0439\u0442\u0443 \u043f\u043e\u0441\u043b\u0443\u0433 \u0447\u0438 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0443, \u044f\u043a\u043e\u043c\u0443 \u043f\u043e\u0442\u0440\u0456\u0431\u043d\u0456 \u0437\u0432\u0435\u0440\u043d\u0435\u043d\u043d\u044f \u0437 \u0428\u0406-\u043f\u043e\u0448\u0443\u043a\u0443, \u043c\u0438 \u043b\u0438\u0448\u0430\u0454\u043c\u043e \u0432\u0456\u0434\u043a\u0440\u0438\u0442\u0438\u043c\u0438 \u043f\u043e\u0448\u0443\u043a\u043e\u0432\u0438\u0445 \u0431\u043e\u0442\u0456\u0432 \u0456 \u0431\u043e\u0442\u0456\u0432 \u0437\u0430\u043f\u0438\u0442\u0443 \u043a\u043e\u0440\u0438\u0441\u0442\u0443\u0432\u0430\u0447\u0430. \u0411\u043e\u0442\u0456\u0432 \u0434\u043b\u044f \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f \u0437\u0430\u043a\u0440\u0438\u0432\u0430\u044e\u0442\u044c, \u043a\u043e\u043b\u0438 \u0432\u0430\u0436\u043b\u0438\u0432\u043e, \u0449\u043e\u0431 \u0442\u0435\u043a\u0441\u0442\u0438 \u043d\u0435 \u043f\u043e\u0442\u0440\u0430\u043f\u043b\u044f\u043b\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u0456, \u043d\u0430\u043f\u0440\u0438\u043a\u043b\u0430\u0434 \u0443 \u043c\u0435\u0434\u0456\u0430 \u0437 \u043f\u043b\u0430\u0442\u043d\u0438\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043e\u043c. \u0417\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0456\u0454\u044e OpenAI, Anthropic, Google \u0456 Apple, \u043d\u0430 \u043f\u043e\u044f\u0432\u0443 \u0432 \u0457\u0445\u043d\u044c\u043e\u043c\u0443 \u043f\u043e\u0448\u0443\u043a\u0443 \u0446\u0435 \u043d\u0435 \u0432\u043f\u043b\u0438\u0432\u0430\u0454.<\/p>\n<p>\u0417&#8217;\u044f\u0432\u043b\u044f\u044e\u0442\u044c\u0441\u044f \u0439 \u0437\u0430\u0433\u0430\u043b\u044c\u043d\u0456 \u0441\u0438\u0433\u043d\u0430\u043b\u0438 \u00ab\u0431\u0435\u0437 \u043d\u0430\u0432\u0447\u0430\u043d\u043d\u044f\u00bb. Anthropic \u0437 30.10.2026 \u043f\u043e\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u0442\u0443\u043f\u043e\u0432\u043e \u0432\u0440\u0430\u0445\u043e\u0432\u0443\u0432\u0430\u0442\u0438 \u043c\u0430\u0448\u0438\u043d\u043e\u0447\u0438\u0442\u0430\u043d\u0438\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u0437\u0430 \u0447\u0435\u0440\u043d\u0435\u0442\u043a\u043e\u044e \u0440\u043e\u0431\u043e\u0447\u043e\u0457 \u0433\u0440\u0443\u043f\u0438 IETF aipref, \u043f\u0440\u043e\u0442\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0434\u043b\u044f ClaudeBot \u0443 robots.txt \u043c\u0430\u0454 \u0432\u0438\u0449\u0438\u0439 \u043f\u0440\u0456\u043e\u0440\u0438\u0442\u0435\u0442. Google <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=_blank>\u043f\u043b\u0430\u043d\u0443\u0454<\/a> \u043f\u0456\u0434\u0442\u0440\u0438\u043c\u0430\u0442\u0438 \u0446\u0435\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043d\u0430 \u043f\u043e\u0447\u0430\u0442\u043a\u0443 2027 \u0440\u043e\u043a\u0443.<\/p>\n<p>\u0412\u0456\u0434\u043a\u0440\u0438\u0442\u0438\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0446\u0438\u0442\u0443\u0432\u0430\u043d\u043d\u044f \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0443\u0454, \u0432\u0456\u043d \u043b\u0438\u0448\u0435 \u0434\u0430\u0454 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0456 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u0438 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0443. \u0429\u043e \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u044f\u0442\u0438 \u0434\u0430\u043b\u0456, \u043c\u0438 \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u0432 \u0441\u0442\u0430\u0442\u0442\u0456 <a href=\"https:\/\/chyzh.agency\/ua\/blog\/shcho-take-geo-audyt\/\">\u0449\u043e \u0442\u0430\u043a\u0435 GEO-\u0430\u0443\u0434\u0438\u0442<\/a>. \u042f\u043a\u0449\u043e \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0438 \u043d\u0435\u043c\u0430\u0454 \u043d\u0430\u0432\u0456\u0442\u044c \u0443 \u0437\u0432\u0438\u0447\u0430\u0439\u043d\u043e\u043c\u0443 \u0456\u043d\u0434\u0435\u043a\u0441\u0456, \u043f\u043e\u0447\u043d\u0456\u0442\u044c \u0456\u0437 \u0440\u043e\u0437\u0431\u043e\u0440\u0443 <a href=\"https:\/\/chyzh.agency\/ua\/blog\/chomu-storinka-ne-indeksuietsia\/\">\u0447\u043e\u043c\u0443 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0430 \u043d\u0435 \u0456\u043d\u0434\u0435\u043a\u0441\u0443\u0454\u0442\u044c\u0441\u044f<\/a>.<\/p>\n<h2>\u041d\u0430\u0441\u0442\u0443\u043f\u043d\u0438\u0439 \u043a\u0440\u043e\u043a<\/h2>\n<p>\u041f\u0440\u043e\u0439\u0434\u0456\u0442\u044c \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432 \u0434\u043b\u044f \u0433\u043e\u043b\u043e\u0432\u043d\u043e\u0457 \u0456 \u0434\u043b\u044f \u0434\u0432\u043e\u0445-\u0442\u0440\u044c\u043e\u0445 \u0441\u0442\u043e\u0440\u0456\u043d\u043e\u043a, \u0437 \u044f\u043a\u0438\u0445 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442\u044c \u0437\u0430\u044f\u0432\u043a\u0438, \u0456 \u0437\u0430\u043f\u0438\u0448\u0456\u0442\u044c, \u044f\u043a\u0456 \u0431\u043e\u0442\u0438 \u0434\u043e \u043d\u0438\u0445 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0434\u0456\u0441\u0442\u0430\u044e\u0442\u044c\u0441\u044f. \u042f\u043a\u0449\u043e \u0436\u0443\u0440\u043d\u0430\u043b\u0438, \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0456 robots.txt \u043f\u043e\u043a\u0430\u0437\u0443\u044e\u0442\u044c \u0440\u0456\u0437\u043d\u0435, \u043f\u043e\u0447\u043d\u0456\u0442\u044c \u0456\u0437 \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430: \u0432\u0456\u043d \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0430\u0454 \u0431\u043e\u0442\u043e\u0432\u0456 \u0440\u0430\u043d\u0456\u0448\u0435, \u043d\u0456\u0436 \u0442\u043e\u0439 \u0434\u0456\u0441\u0442\u0430\u043d\u0435\u0442\u044c\u0441\u044f \u0434\u043e robots.txt \u0447\u0438 \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0438. \u0414\u043e\u0441\u0442\u0443\u043f \u0431\u043e\u0442\u0456\u0432, \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0439 \u043d\u0430\u043b\u0430\u0448\u0442\u0443\u0432\u0430\u043d\u043d\u044f CDN \u043c\u0438 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u044f\u0454\u043c\u043e \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0456 <a href=\"https:\/\/chyzh.agency\/ua\/geo-prosuvannya\/\">GEO-\u043f\u0440\u043e\u0441\u0443\u0432\u0430\u043d\u043d\u044f<\/a>.<\/p>\n<hr \/>\n<p><strong>\u0410\u0432\u0442\u043e\u0440: \u0404\u0432\u0433\u0435\u043d \u041f\u0430\u0432\u043b\u0435\u043d\u043a\u043e, DevOps. \u041f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0432: \u0414\u043c\u0438\u0442\u0440\u043e \u041f\u043e\u043f\u0440\u044f\u0434\u0443\u0445\u0456\u043d, Head of SEO.<\/strong><\/p>\n<p><em>\u0414\u0436\u0435\u0440\u0435\u043b\u0430: OpenAI, \u00abOverview of OpenAI Crawlers\u00bb, \u0434\u0430\u0442\u0438 \u043e\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044f \u043d\u0430 \u0441\u0442\u043e\u0440\u0456\u043d\u0446\u0456 \u043d\u0435\u043c\u0430\u0454, \u0437\u0432\u0456\u0440\u0435\u043d\u043e 12.11.2026; \u0441\u043f\u0438\u0441\u043a\u0438 IP OpenAI gptbot.json (22.09.2026), searchbot.json (02.01.2026), chatgpt-user.json (06.11.2026); Anthropic, \u00abDoes Anthropic crawl data from the web, and how can site owners block the crawler?\u00bb, \u043e\u043d\u043e\u0432\u043b\u0435\u043d\u043e 04.11.2026, \u0441\u043f\u0438\u0441\u043e\u043a IP bots.json (20.10.2026); Perplexity, \u00abPerplexity Crawlers\u00bb, \u043e\u043d\u043e\u0432\u043b\u0435\u043d\u043e 29.10.2026, \u0441\u043f\u0438\u0441\u043a\u0438 IP 28.10.2026; Google, \u00abList of Google&#8217;s common crawlers\u00bb, 30.10.2026; \u00abList of Google user-triggered fetchers\u00bb, 19.08.2026; \u00abVerify requests from Google crawlers and fetchers\u00bb, 20.03.2026; \u00abAI features and your website\u00bb, 10.12.2025; \u00abHow Google interprets the robots.txt specification\u00bb, 23.10.2026; Apple, \u00abAbout Applebot\u00bb, 04.09.2026; Meta, \u00abMeta Web Crawlers\u00bb, 21.05.2026; Amazon, \u00abAmazon Web Search crawlers\u00bb, 26.10.2026; Mistral, \u00abMistral crawlers\u00bb, \u0431\u0435\u0437 \u0434\u0430\u0442\u0438, \u0437\u0432\u0456\u0440\u0435\u043d\u043e 12.11.2026; DuckDuckGo, \u0441\u0442\u043e\u0440\u0456\u043d\u043a\u0430 \u043f\u0440\u043e DuckAssistBot, \u0431\u0435\u0437 \u0434\u0430\u0442\u0438, \u0437\u0432\u0456\u0440\u0435\u043d\u043e 12.11.2026; Common Crawl, \u00abCCBot\u00bb, \u0431\u0435\u0437 \u0434\u0430\u0442\u0438, \u0441\u043f\u0438\u0441\u043e\u043a IP 11.08.2026; Cloudflare, \u00abAI Crawler and Agent access policies\u00bb \u0456 \u00abrobots.txt setting\u00bb, 02.11.2026, \u00abBot Fight Mode\u00bb, 03.08.2026, \u0431\u043b\u043e\u0433 \u00abContent Independence Day\u00bb, 01.07.2025; \u0436\u0443\u0440\u043d\u0430\u043b\u0438 nginx chyzh.agency \u0437\u0430 13.10\u201311.11.2026; robots.txt \u0456 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0456 \u0433\u043e\u043b\u043e\u0432\u043d\u0438\u0445 \u0441\u0442\u043e\u0440\u0456\u043d\u043e\u043a 55 \u0443\u043a\u0440\u0430\u0457\u043d\u0441\u044c\u043a\u0438\u0445 \u0441\u0430\u0439\u0442\u0456\u0432, 12.11.2026; \u0437\u043d\u0456\u043c\u043e\u043a \u0432\u0438\u0434\u0430\u0447\u0456 Google \u0423\u043a\u0440\u0430\u0457\u043d\u0430 \u0437\u0430 \u0437\u0430\u043f\u0438\u0442\u043e\u043c \u00ab\u044f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f ai \u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443\u00bb, 12.11.2026.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0420\u043e\u043b\u0456 \u0431\u043e\u0442\u0456\u0432 OpenAI, Anthropic, Perplexity \u0456 Google, \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0438 \u0432\u0456\u0434 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0437\u0430 30 \u0434\u043d\u0456\u0432 \u0456 robots.txt 55 \u0441\u0430\u0439\u0442\u0456\u0432 \u0423\u043a\u0440\u0430\u0457\u043d\u0438.<\/p>\n","protected":false},"author":3,"featured_media":13056,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[88],"tags":[],"class_list":["post-13073","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-geo"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.6 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>\u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443: 6 \u043a\u0440\u043e\u043a\u0456\u0432 | Chyzh Agency<\/title>\n<meta name=\"description\" content=\"\u0420\u043e\u043b\u0456 \u0431\u043e\u0442\u0456\u0432 OpenAI, Anthropic, Perplexity \u0456 Google, \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0438 \u0432\u0456\u0434 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0437\u0430 30 \u0434\u043d\u0456\u0432 \u0456 robots.txt 55 \u0441\u0430\u0439\u0442\u0456\u0432 \u0423\u043a\u0440\u0430\u0457\u043d\u0438.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/\" \/>\n<meta property=\"og:locale\" content=\"uk_UA\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"\u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443: 6 \u043a\u0440\u043e\u043a\u0456\u0432 | Chyzh Agency\" \/>\n<meta property=\"og:description\" content=\"\u0420\u043e\u043b\u0456 \u0431\u043e\u0442\u0456\u0432 OpenAI, Anthropic, Perplexity \u0456 Google, \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0438 \u0432\u0456\u0434 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0437\u0430 30 \u0434\u043d\u0456\u0432 \u0456 robots.txt 55 \u0441\u0430\u0439\u0442\u0456\u0432 \u0423\u043a\u0440\u0430\u0457\u043d\u0438.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/\" \/>\n<meta property=\"og:site_name\" content=\"Chyzh Agency\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/chyzhagency\/\" \/>\n<meta property=\"article:published_time\" content=\"2026-11-20T08:00:00+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-krauleriv-cover-2026-11.png\" \/>\n\t<meta property=\"og:image:width\" content=\"2400\" \/>\n\t<meta property=\"og:image:height\" content=\"1260\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"3 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/\"},\"author\":{\"name\":\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#\\\/schema\\\/person\\\/9f4ea8a05b4d2ef5e76b4be8a752dc64\"},\"headline\":\"\u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443: robots.txt, \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\",\"datePublished\":\"2026-11-20T08:00:00+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/\"},\"wordCount\":1875,\"publisher\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/dostup-ai-krauleriv-cover-2026-11.png\",\"articleSection\":[\"GEO\"],\"inLanguage\":\"uk-UA\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/\",\"name\":\"\u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443: 6 \u043a\u0440\u043e\u043a\u0456\u0432 | Chyzh Agency\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/dostup-ai-krauleriv-cover-2026-11.png\",\"datePublished\":\"2026-11-20T08:00:00+00:00\",\"description\":\"\u0420\u043e\u043b\u0456 \u0431\u043e\u0442\u0456\u0432 OpenAI, Anthropic, Perplexity \u0456 Google, \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0438 \u0432\u0456\u0434 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0437\u0430 30 \u0434\u043d\u0456\u0432 \u0456 robots.txt 55 \u0441\u0430\u0439\u0442\u0456\u0432 \u0423\u043a\u0440\u0430\u0457\u043d\u0438.\",\"inLanguage\":\"uk-UA\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"uk-UA\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/blog\\\/dostup-ai-krauleriv\\\/#primaryimage\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/dostup-ai-krauleriv-cover-2026-11.png\",\"contentUrl\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/dostup-ai-krauleriv-cover-2026-11.png\",\"width\":2400,\"height\":1260,\"caption\":\"GEO \u00b7 \u0411\u041b\u041e\u0413 CHYZH AGENCY \u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443 15,3% \u0437\u0430\u043f\u0438\u0442\u0456\u0432 \u0437 \u0456\u043c\u0435\u043d\u0430\u043c\u0438 \u0428\u0406-\u0431\u043e\u0442\u0456\u0432 \u043f\u0440\u0438\u0439\u0448\u043b\u0438 \u043d\u0435 \u0437 \u0430\u0434\u0440\u0435\u0441 \u0457\u0445\u043d\u0456\u0445 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c 9 \u0437 39 \u0432\u0435\u043b\u0438\u043a\u0438\u0445 \u0443\u043a\u0440\u0430\u0457\u043d\u0441\u044c\u043a\u0438\u0445 \u0441\u0430\u0439\u0442\u0456\u0432 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0430\u044e\u0442\u044c ClaudeBot \u0456\u043d\u0430\u043a\u0448\u0435, \u043d\u0456\u0436 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0443 2,5\u00d7 \u0431\u0456\u043b\u044c\u0448\u0435 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0435\u043d\u0438\u0445 \u0437\u0430\u043f\u0438\"},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#website\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/\",\"name\":\"Chyzh Agency\",\"description\":\"\u0414\u0456\u0434\u0436\u0438\u0442\u0430\u043b-\u0430\u0433\u0435\u043d\u0446\u0456\u044f\",\"publisher\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"uk-UA\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#organization\",\"name\":\"Chyzh Agency\",\"alternateName\":\"Echizh\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"uk-UA\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/logo-square-512-light.png\",\"contentUrl\":\"https:\\\/\\\/chyzh.agency\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/logo-square-512-light.png\",\"width\":512,\"height\":512,\"caption\":\"Chyzh Agency\"},\"image\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/chyzhagency\",\"https:\\\/\\\/www.instagram.com\\\/chyzhagency\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/chyzh\",\"https:\\\/\\\/www.crunchbase.com\\\/organization\\\/echizh\",\"https:\\\/\\\/clutch.co\\\/profile\\\/chyzh-agency\",\"https:\\\/\\\/www.google.com\\\/maps?cid=16747418543228899160\"],\"foundingDate\":\"2011\",\"address\":{\"@type\":\"PostalAddress\",\"streetAddress\":\"st. Patorzhynskoho, 4\",\"addressLocality\":\"Kyiv\",\"postalCode\":\"01034\",\"addressCountry\":\"UA\"},\"email\":\"info@chyzh.agency\",\"telephone\":\"+380671309326\",\"knowsAbout\":[\"Search Engine Optimization\",\"Generative Engine Optimization\",\"Digital Marketing\",\"Web Development\",\"Mobile App Development\"],\"founder\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#yevhenii-chyzh\"}},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#\\\/schema\\\/person\\\/9f4ea8a05b4d2ef5e76b4be8a752dc64\",\"name\":\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"uk-UA\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g\",\"caption\":\"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436\"},\"url\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/author\\\/echizh\\\/\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#yevhenii-chyzh\",\"name\":\"Yevhenii Chyzh\",\"jobTitle\":\"Chief Executive Officer\",\"worksFor\":{\"@id\":\"https:\\\/\\\/chyzh.agency\\\/ua\\\/#organization\"},\"knowsAbout\":[\"SEO\",\"Generative Engine Optimization\",\"AI content systems\",\"Digital Marketing\"],\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/yevheniichyzh\\\/\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"\u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443: 6 \u043a\u0440\u043e\u043a\u0456\u0432 | Chyzh Agency","description":"\u0420\u043e\u043b\u0456 \u0431\u043e\u0442\u0456\u0432 OpenAI, Anthropic, Perplexity \u0456 Google, \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0438 \u0432\u0456\u0434 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0437\u0430 30 \u0434\u043d\u0456\u0432 \u0456 robots.txt 55 \u0441\u0430\u0439\u0442\u0456\u0432 \u0423\u043a\u0440\u0430\u0457\u043d\u0438.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/","og_locale":"uk_UA","og_type":"article","og_title":"\u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443: 6 \u043a\u0440\u043e\u043a\u0456\u0432 | Chyzh Agency","og_description":"\u0420\u043e\u043b\u0456 \u0431\u043e\u0442\u0456\u0432 OpenAI, Anthropic, Perplexity \u0456 Google, \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0438 \u0432\u0456\u0434 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0437\u0430 30 \u0434\u043d\u0456\u0432 \u0456 robots.txt 55 \u0441\u0430\u0439\u0442\u0456\u0432 \u0423\u043a\u0440\u0430\u0457\u043d\u0438.","og_url":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/","og_site_name":"Chyzh Agency","article_publisher":"https:\/\/www.facebook.com\/chyzhagency\/","article_published_time":"2026-11-20T08:00:00+00:00","og_image":[{"width":2400,"height":1260,"url":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-krauleriv-cover-2026-11.png","type":"image\/png"}],"author":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436","twitter_card":"summary_large_image","twitter_misc":{"Written by":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436","Est. reading time":"3 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/#article","isPartOf":{"@id":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/"},"author":{"name":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436","@id":"https:\/\/chyzh.agency\/ua\/#\/schema\/person\/9f4ea8a05b4d2ef5e76b4be8a752dc64"},"headline":"\u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443: robots.txt, \u0444\u0430\u0439\u0440\u0432\u043e\u043b \u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430","datePublished":"2026-11-20T08:00:00+00:00","mainEntityOfPage":{"@id":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/"},"wordCount":1875,"publisher":{"@id":"https:\/\/chyzh.agency\/ua\/#organization"},"image":{"@id":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/#primaryimage"},"thumbnailUrl":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-krauleriv-cover-2026-11.png","articleSection":["GEO"],"inLanguage":"uk-UA"},{"@type":"WebPage","@id":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/","url":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/","name":"\u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443: 6 \u043a\u0440\u043e\u043a\u0456\u0432 | Chyzh Agency","isPartOf":{"@id":"https:\/\/chyzh.agency\/ua\/#website"},"primaryImageOfPage":{"@id":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/#primaryimage"},"image":{"@id":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/#primaryimage"},"thumbnailUrl":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-krauleriv-cover-2026-11.png","datePublished":"2026-11-20T08:00:00+00:00","description":"\u0420\u043e\u043b\u0456 \u0431\u043e\u0442\u0456\u0432 OpenAI, Anthropic, Perplexity \u0456 Google, \u0448\u0456\u0441\u0442\u044c \u043a\u0440\u043e\u043a\u0456\u0432 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u043a\u0438 \u0432\u0456\u0434 robots.txt \u0434\u043e IP, \u043d\u0430\u0448\u0456 \u0436\u0443\u0440\u043d\u0430\u043b\u0438 \u0437\u0430 30 \u0434\u043d\u0456\u0432 \u0456 robots.txt 55 \u0441\u0430\u0439\u0442\u0456\u0432 \u0423\u043a\u0440\u0430\u0457\u043d\u0438.","inLanguage":"uk-UA","potentialAction":[{"@type":"ReadAction","target":["https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/"]}]},{"@type":"ImageObject","inLanguage":"uk-UA","@id":"https:\/\/chyzh.agency\/ua\/blog\/dostup-ai-krauleriv\/#primaryimage","url":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-krauleriv-cover-2026-11.png","contentUrl":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/11\/dostup-ai-krauleriv-cover-2026-11.png","width":2400,"height":1260,"caption":"GEO \u00b7 \u0411\u041b\u041e\u0413 CHYZH AGENCY \u042f\u043a \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0438\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0428\u0406-\u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0456\u0432 \u0434\u043e \u0441\u0430\u0439\u0442\u0443 15,3% \u0437\u0430\u043f\u0438\u0442\u0456\u0432 \u0437 \u0456\u043c\u0435\u043d\u0430\u043c\u0438 \u0428\u0406-\u0431\u043e\u0442\u0456\u0432 \u043f\u0440\u0438\u0439\u0448\u043b\u0438 \u043d\u0435 \u0437 \u0430\u0434\u0440\u0435\u0441 \u0457\u0445\u043d\u0456\u0445 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c 9 \u0437 39 \u0432\u0435\u043b\u0438\u043a\u0438\u0445 \u0443\u043a\u0440\u0430\u0457\u043d\u0441\u044c\u043a\u0438\u0445 \u0441\u0430\u0439\u0442\u0456\u0432 \u0432\u0456\u0434\u043f\u043e\u0432\u0456\u0434\u0430\u044e\u0442\u044c ClaudeBot \u0456\u043d\u0430\u043a\u0448\u0435, \u043d\u0456\u0436 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0443 2,5\u00d7 \u0431\u0456\u043b\u044c\u0448\u0435 \u043f\u0435\u0440\u0435\u0432\u0456\u0440\u0435\u043d\u0438\u0445 \u0437\u0430\u043f\u0438"},{"@type":"WebSite","@id":"https:\/\/chyzh.agency\/ua\/#website","url":"https:\/\/chyzh.agency\/ua\/","name":"Chyzh Agency","description":"\u0414\u0456\u0434\u0436\u0438\u0442\u0430\u043b-\u0430\u0433\u0435\u043d\u0446\u0456\u044f","publisher":{"@id":"https:\/\/chyzh.agency\/ua\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/chyzh.agency\/ua\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"uk-UA"},{"@type":"Organization","@id":"https:\/\/chyzh.agency\/ua\/#organization","name":"Chyzh Agency","alternateName":"Echizh","url":"https:\/\/chyzh.agency\/ua\/","logo":{"@type":"ImageObject","inLanguage":"uk-UA","@id":"https:\/\/chyzh.agency\/ua\/#\/schema\/logo\/image\/","url":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/07\/logo-square-512-light.png","contentUrl":"https:\/\/chyzh.agency\/wp-content\/uploads\/2026\/07\/logo-square-512-light.png","width":512,"height":512,"caption":"Chyzh Agency"},"image":{"@id":"https:\/\/chyzh.agency\/ua\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/chyzhagency","https:\/\/www.instagram.com\/chyzhagency","https:\/\/www.linkedin.com\/company\/chyzh","https:\/\/www.crunchbase.com\/organization\/echizh","https:\/\/clutch.co\/profile\/chyzh-agency","https:\/\/www.google.com\/maps?cid=16747418543228899160"],"foundingDate":"2011","address":{"@type":"PostalAddress","streetAddress":"st. Patorzhynskoho, 4","addressLocality":"Kyiv","postalCode":"01034","addressCountry":"UA"},"email":"info@chyzh.agency","telephone":"+380671309326","knowsAbout":["Search Engine Optimization","Generative Engine Optimization","Digital Marketing","Web Development","Mobile App Development"],"founder":{"@id":"https:\/\/chyzh.agency\/ua\/#yevhenii-chyzh"}},{"@type":"Person","@id":"https:\/\/chyzh.agency\/ua\/#\/schema\/person\/9f4ea8a05b4d2ef5e76b4be8a752dc64","name":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436","image":{"@type":"ImageObject","inLanguage":"uk-UA","@id":"https:\/\/secure.gravatar.com\/avatar\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/3710a4306e399cb2b6650bb37d18915973a934e286d6d2328afeda023a5ffcdd?s=96&d=mm&r=g","caption":"\u0404\u0432\u0433\u0435\u043d\u0456\u0439 \u0427\u0438\u0436"},"url":"https:\/\/chyzh.agency\/ua\/author\/echizh\/"},{"@type":"Person","@id":"https:\/\/chyzh.agency\/ua\/#yevhenii-chyzh","name":"Yevhenii Chyzh","jobTitle":"Chief Executive Officer","worksFor":{"@id":"https:\/\/chyzh.agency\/ua\/#organization"},"knowsAbout":["SEO","Generative Engine Optimization","AI content systems","Digital Marketing"],"sameAs":["https:\/\/www.linkedin.com\/in\/yevheniichyzh\/"]}]}},"_links":{"self":[{"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/posts\/13073","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/comments?post=13073"}],"version-history":[{"count":5,"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/posts\/13073\/revisions"}],"predecessor-version":[{"id":14275,"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/posts\/13073\/revisions\/14275"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/media\/13056"}],"wp:attachment":[{"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/media?parent=13073"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/categories?post=13073"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/chyzh.agency\/ua\/wp-json\/wp\/v2\/tags?post=13073"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}