◦◦POSSIBILITY
EXPERIMENT E-008B · DECENTRALIZED LEARNING · PETTINGZOO

Как договориться, не договариваясь?

Два агента получают разную информацию и отдельные вознаграждения. Никто не видит параметры другого. Они постепенно изменяют свои вероятности действий — и эксперимент проверяет, возникает ли согласованная бинарная конвенция без общего алгоритма подбора стратегии.

SYNTHETIC / RESEARCH PROTOTYPE
Калибровка E-008B · изучи методику или запусти исследование
ACTOR 01 / SENDERPRIVATE STATE: TARGET

Отправитель

Знает текущий бинарный факт, недоступный получателю. Выбирает символ 0 или 1, платит за передачу «1» и получает отложенное вознаграждение только за успешное распознавание.

POLICY πₛ(symbol | private target) · ЛОКАЛЬНЫЙ REINFORCE · собственные веса и RNG
1 BIT
t + 1
ACTOR 02 / RECEIVERPRIVATE STATE: MESSAGE

Получатель

Не знает исходный факт. Видит только сигнал предыдущего такта. Самостоятельно выбирает интерпретацию, получает отдельный результат и изменяет исключительно собственную политику.

POLICY πᵣ(guess | received symbol) · ЛОКАЛЬНЫЙ REINFORCE · нет передачи параметров
—Accuracy на holdout; unseen seeds
—С теми же замороженными агентами
—Исходные случайные политики
—Receiver другой независимо обученной пары

Становление кода

Пример одной обучающей пары. Кривая показывает стохастическую точность по эпохам — она не обязана монотонно возрастать.

Независимые системы значений

Обе стороны могут научиться согласованному коду, но выбрать разные конвенции: символ «1» может означать «0» или «1».

КОНВЕНЦИЯКОЛИЧЕСТВО ПАРДОЛЯ
Нет результатов——

Перестановка партнёров — ключевой контроль отсутствия общего заранее заданного языка.

Что именно проверено?

Ни одна пара не получает готовый словарь и не проходит общий перебор 16 вариантов. Каждому агенту выдаётся только собственное наблюдение и собственная скалярная награда. Политики обновляются локально. Оценивание проводится на независимых начальных условиях и включает три контрольных вмешательства.

PettingZoo ParallelEnv · discrete binary actions · delayed rewards · independent tabular policy gradient · parameter sharing OFF · reward alignment partial
Ограничение научной интерпретации: задача и двухсимвольный канал заранее заданы, индивидуальные награды преимущественно согласованы, а обучение происходит внутри пары без большой популяции или наследования. Это демонстрация децентрализованного согласования условного кода, а не возникновение человеческого языка, сознания или естественная биологическая коэволюция. Проверка с высокой стоимостью сигнала может дать отрицательный результат.