Answerly Tracker — платформа, которая по расписанию спрашивает ИИ-ассистентов о бренде и показывает каждый показатель вместе с размером выборки

01 Паспорт проекта

Проверено Поля без пометки подтверждены кодом, базой и cron продукта на 07.10.2026.

02 Задача до разработки

Платформа должна была по расписанию отвечать на четыре вопроса, с размером выборки рядом с каждой цифрой:

1. Называет ли ассистент бренд и цитирует ли сайт?
2. Какую страницу цитирует, а какую нашёл и пропустил?
3. Кого цитирует вместо нас и из какого типа источника?
4. Что ответы утверждают о бренде и правда ли это?

Второе условие — это продукт для агентств. В одной системе работают несколько организаций, у каждой свои проекты, а клиент агентства видит результаты, но не внутреннюю кухню: цены, заметки, сырые списки.

03 Границы работ

04 Как устроено

Две половины встречаются в базе: кабинет пишет настройки и читает сводки, а сборщики на VPS по расписанию опрашивают движки и пишут ответы.

Три правила действуют во всём коде:

• Проверка — выборка, а не приговор. Каждая доля идёт со своим n и 95% погрешностью: 1,96·√(p(1−p)/n), где n — число ответов в последней проверке. Изменение не больше этой погрешности подписано как шум. Для средней позиции цитирования границу считает t-тест Уэлча; если в проверке меньше 5 цитирований, позиция не сравнивается и отмечена «малая выборка».
• Без выдуманных чисел. Составляющая оценки без данных выпадает, и показывается доля покрытого веса; пробел не считается нулём. Обзор Google, которого на запрос нет, остаётся пустым.
• Смены метода отмечены. Когда источник меняется, на графике появляется отметка разрыва, и сравнения через неё не делаются.

05 Самое сложное решение: измерять настоящий ChatGPT, а не API

Проблема. Сначала сборщик спрашивал модель через API OpenAI с веб-поиском. 05.10.2026 мы прогнали те же 72 промпта через API и через приложение ChatGPT, по одному разу, с геолокацией «Украина» и украинским языком. Одна пара дала ошибку. В 11 из оставшихся 71 ответа приложения не было ни одного источника. Из 60 пар, где источники были в обоих, в 28 не совпал ни один домен; медиана — 1 общий домен, коэффициент Жаккара — 0,08. То есть приложение ищет иначе и цитирует другие источники.

Решение. С 05.10.2026 сборщик берёт ответы самого приложения через поставщика сбора данных. Вместе с ответом сохраняются собственные веб-поиски ассистента и страницы, которые он открыл. Переход отмечен разрывом метода: графики и отчёт не сравнивают значения по разные стороны даты. Путь через API остался запасным и включается одной настройкой.

Компромисс. История до 05.10 не сравнивается с новой, выборка на проверку меньше и шумнее, добавилась ещё одна внешняя зависимость. Выигрыш — платформа показывает страницу, которую ассистент нашёл и не процитировал. Если нужен только тренд на большой выборке, API дешевле и стабильнее.

Второе сложное место — честная статистика. Для доли показывается 95% погрешность, для средней позиции цитирования — 95% доверительный интервал разницы (t-тест Уэлча). На эталонном проекте сдвиг на 0,6 позиции при границе ±2,3 подписан как шум, а не как «движение». Цена — меньше «находок» на экране.

06 Кто и как пользуется

07 Модули текущей версии

• Промпты и персоны. Промпты по направлениям; персоны импортируются из шаблона агентства в формате .xlsx; видимость по каждой персоне.
• Исследование. Поиск новых запросов каждый понедельник из Search Console и Serpstat.
• Страницы. Наши адреса по промптам и движкам: процитировано, найдено и пропущено, с поисками самого ассистента; как страницу видят ИИ-боты.
• Бренд. Тон, роли и утверждения из каждого ответа, где назван бренд, сверенные с карточкой правдивых фактов, на языке проекта.
• Размещения. Домены, которые движки цитируют вместо нас, по типу источника: рейтинги, подборки, медиа, сообщества.
• Ссылки. Домены, которые ведут на двух и более конкурентов, но не на нас, рядом с источниками ИИ-ответов; ежедневный контроль уже размещённых ссылок.
• Кокон и план действий. Архитектура сайта из конструктора ТЗ агентства рядом с тем, что с каждой страницей делают движки; план действий на основе выдачи. Кокон видит только команда.
• Отчёт и дайджесты. Отчёт по подписанной ссылке; после проверки — дайджест в Telegram с тестом значимости на общих парах промпт × движок.

Размещения · откуда ИИ берёт ответы

Типы источников, которые движки цитировали на промптах агентства, и что делать с каждым. Примеры доменов на снимке скрыты.

08 Качество и стабильность

Частичная проверка значит, что часть ответов не пришла, а остальные сохранены; кредиты за недостающие ответы не списываются.

09 Безопасность и приватность

• Вход без паролей: ссылка на почту, подписанная и действующая 10 минут; сессия — 7 дней в защищённом cookie.
• Ключи поставщиков читает только серверная часть, в браузер они не попадают; владелец меняет их в админке. В базе они сейчас хранятся без шифрования — это сознательный компромисс, шифрование запланировано. Токен Google для Search Console и GA4 зашифрован (AES-GCM). Ключи API организаций хранятся только как хеш.
• Изоляция: в 38 автоматизированных сценариях пользователь не получил доступа к чужой организации ни через кабинет, ни через API. Изоляцию сейчас обеспечивает серверный слой приложения; политики на уровне базы ещё внедряются.
• Ограничение частоты на регистрацию и чат.
• Клиентский просмотр не показывает стоимость, заметки и цены ни в кабинете, ни в экспорте.

10 Релиз и ссылки

11 Результат

Продуктовый

05–06.10.2026 мы взяли пять запросов о выборе подрядчика для интернет-магазина и трижды получили на каждый ответ приложения ChatGPT: пилот 05.10 и две проверки трекера, 05.10 и 06.10. Украина, украинский язык, 15 ответов. «Назван» означает, что название агентства есть в тексте ответа; «процитирован» — что домен есть среди источников ответа. Агентство названо в 7 ответах, процитировано в 4. Одного конкурента процитировали в 12, в том числе во всех четырёх ответах, которые цитируют нас. Ассистент открывал страницу услуги агентства, но цитировал других. Эта находка стала брифом на переработку страницы; результат измерим на тех же запросах минимум после трёх проверок.

Технический

Бизнесовый

На 07.10.2026 на платформе 5 организаций и 8 проектов: собственный проект агентства, пилоты и пробные аккаунты.

12 Ограничения и что сделали бы иначе

Ответы приложения ChatGPT собираются через внешнего поставщика данных. Это медленнее и шумнее, чем API, и поставщик может измениться без предупреждения.

Одна проверка не позволяет надёжно отличить реальное изменение от случайного колебания. Платформа советует неделю между проверками и не блокирует более раннюю, лишь просит подтверждения.

Изоляцию держит приложение, а не база. Кабинет ходит в базу служебным ключом, поэтому защита — это слой проверок в приложении и тест на 38 сценариев. Политики доступа на уровне базы для каждого пользователя запланированы.

Общая база с другими сервисами агентства. Чтение уже отделено, полное разделение базы запланировано.

Ещё не сделано: мониторинг сбоев сборщиков, автоматический запуск тестов в CI, проверка Google для подключения Search Console без предупреждения.

13 Коротко для заказчика похожей платформы

Почему выбрали этот стек

Astro с рендерингом на сервере на Cloudflare Pages даёт кабинет без отдельного API-сервера. Supabase даёт Postgres с HTTP-интерфейсом, общим для кабинета и сборщиков. Сборщики остались на Python, потому что там лучшие библиотеки поставщиков.

Какую задачу решила платформа

Команда бренда по расписанию видит, называют ли её ИИ-ассистенты и цитируют ли её страницы на вопросах клиентов, и получает точную страницу, которую ассистент нашёл и пропустил. Каждая цифра идёт с размером выборки и датой, поэтому две проверки можно сравнить без догадок.

Что именно сделала Chyzh Agency

• дизайн продукта и модель данных;
• сборщики для пяти движков с учётом кредитов, расписанием и очередью;
• кабинет на трёх языках, API только для чтения, экспорт;
• модуль анализа ссылок и связь с конструктором ТЗ агентства;
• дайджесты и тест, который проверяет, что один клиент не видит данных другого.

Что учесть в похожем проекте

Заложите бюджет на сторонние данные ответов: это основная переменная стоимость. Договоритесь о правиле для смены метода до того, как первый клиент увидит тренд. Заведите карточку правдивых фактов о бренде с первого дня, иначе проверке утверждений не с чем сверять.