Определите, чью ситуацию вы проверяете
Для вопроса «предлагает ли сервис нашу компанию новому покупателю» разговор владельца о собственном бизнесе — неподходящая единственная проверка. Он полезен для другой задачи: понять, как помощник использует уже полученные сведения. Заранее назовите цель каждого ряда наблюдений.
Не включайте бренд в контрольный вопрос, если изучаете выбор без подсказки. Укажите необходимую территорию и условия клиента прямо в формулировке, чтобы не оставлять их на усмотрение проверяющего. Например, вопрос о поставщике с доставкой и вопрос о самовывозе проверяют разные потребности.
Продолжить: Как проверять выбор компании в уточняющем диалоге
Составьте паспорт доступного контекста
До запроса запишите интерфейс, видимое название модели, дату и время, выбранный поиск, язык, заданный город и предшествующие сообщения. О доступных настройках памяти и пользовательских инструкциях достаточно статуса и краткого описания относящихся к задаче сведений. Не переносите личную переписку в рабочий отчёт.
В справке OpenAI о памяти указано, что возможности зависят от плана, региона, платформы и настроек рабочей среды. Если нужного переключателя нет, пишите «недоступен для проверки», а не «отключён». Новый диалог сам по себе не является доказательством отсутствия персонализации.
Источники: OpenAI: память и доступные настройки
Учтите, что введённый вопрос и поисковый запрос различаются
В справке о поиске ChatGPT OpenAI описывает возможность использовать релевантные сохранённые сведения при переформулировании запроса к поиску. Поэтому одинаковый текст, отправленный двумя людьми, не гарантирует одинаковых запросов к источникам. Это объясняет необходимость фиксировать условия, но не доказывает причину конкретного расхождения.
Запишите, был ли поиск выбран и какие признаки его выполнения видны в ответе. Если в одном наблюдении есть веб-источники, а во втором результат поиска не подтверждён, не представляйте пару как сравнение только памяти. Ответ без ссылок сохраните отдельно, не придумывая происхождение сведений.
Источники: OpenAI: использование памяти в веб-поиске
Продолжить: Что можно проверить в ответе без ссылок
Проведите парное наблюдение на учебном примере
Компания К, ответы и обстоятельства в таблице вымышлены. Это образец заполнения журнала, а не выполненный эксперимент. Учебный вопрос: «Как выбрать поставщика упаковки в городе Н для небольшой партии с доставкой?» Название К в вопрос не включено.
| Поле | Наблюдение А | Наблюдение Б |
|---|---|---|
| Известный контекст | Ранее обсуждалась компания К и её доставка | В текущем диалоге компания К не обсуждалась |
| Доступные настройки | Память включена; относящиеся к задаче сведения описаны | Доступные настройки записаны; полнота контекста не доказана |
| Метод | Тот же вопрос, язык, интерфейс и выбранный поиск | Тот же вопрос, язык, интерфейс и выбранный поиск |
| Учебный ответ | К предложена к рассмотрению | К не названа; перечислены критерии выбора |
| Источники | Показан сторонний обзор; его содержание проверено в условии упражнения | Ссылка на сайт К не показана |
| Допустимый вывод | К названа при известном предшествующем контексте | К не названа в этом наблюдении |
| Вывод о причине | Влияние памяти возможно, но не изолировано | Отсутствие К не доказывает недоступность её сайта |
Итог пары: ответы различаются, а условия описаны. Утверждать, что память добавила компанию в ответ, пока нельзя. Для рабочего журнала нужны реальные тексты, время наблюдений и проверенные адреса источников вместо учебных описаний.
Повторяйте метод, а не попытки получить нужный ответ
До продолжения определите число повторов и порядок проверки. Сохраняйте все ответы, включая отсутствие бренда, отказы и ошибки сервиса. Если после неудачного результата уточнять вопрос до появления компании, получится проверка подсказок, а не прежнего сценария выбора.
Проводите парные наблюдения близко по времени и отмечайте любое известное изменение условий. Повторяемость различия помогает сформулировать гипотезу, но не устраняет скрытые факторы. Если сравниваете API и пользовательский интерфейс, ведите отдельные ряды: совпадения текста вопроса для объединения недостаточно.
Продолжить: Почему API и пользовательский интерфейс нельзя считать одним методом
Используйте сведения о памяти без вторжения в аккаунт
Если в интерфейсе доступны Memory Sources, их можно использовать как дополнительное свидетельство. OpenAI предупреждает, что этот список может показывать не все факторы ответа. Отсутствие видимого персонального источника не доказывает, что никакой контекст не участвовал.
Для редакционного или маркетингового наблюдения не требуется удалять историю, подключать почту или менять настройки чужого аккаунта. В рабочем отчёте достаточно обезличенного описания релевантной подсказки и статуса проверки. Любое изменение личных настроек остаётся решением владельца аккаунта.
Источники: OpenAI: Memory Sources и неполнота списка факторов ответа
Покажите бизнесу вывод с границами
Хорошая формулировка отчёта отвечает на три вопроса: где бренд появился, при каких известных условиях и что остаётся неизвестным. Например: «Компания названа в сохранённом ответе владельцу; в сопоставляемом наблюдении без обсуждения бренда в текущем диалоге не названа. Причина различия не установлена».
Не усредняйте личные проверки владельца с наблюдениями другого сценария без раскрытия состава. Если обнаружены неверные публичные сведения, их можно передать на исправление независимо от спора о персонализации. Если сведения верны, следующая работа — улучшить метод наблюдений, а не переписывать сайт по одному ответу.