Низкое усилие заставляет экономить токены, порождая неожиданные умные стратегии

Низкое усилие заставляет экономить токены, порождая неожиданные умные стратегии

Связка 1

Начальное состояние: Claude получает задание пройти игру Pokemon Red с настройкой низкого усилия, что обычно ассоциируется с ограниченной тщательностью выполнения задачи
Преобразование: Низкое усилие вынуждает Claude агрессивно экономить токены: он пропускает битвы с тренерами, использует накопленные лечебные предметы вместо возвращения в центры покемонов и спамит предметом "Репеллент" для ограничения нежелательных встреч
Конечное состояние: Claude демонстрирует неожиданно умные стратегии скоростного прохождения игры, которые требуют понимания минимизации расхода токенов, хотя низкое усилие часто связывают с низким интеллектом

Итак, я хотел бы немного подробнее остановиться на усилии и дать вам практические рекомендации о том, как следует подходить к настройке уровней усилия в зависимости от вашего конкретного случая использования.

Во-первых, когда это возможно, всегда лучше проводить оценки (evals) и строить график производительности, где на оси X вы сравниваете что-то вроде общего количества токенов, времени или стоимости, а на оси Y — производительность. Это позволяет создать кривую усилия, подобную этой, и лучше понять, какие компромиссы вы можете сделать, выбирая определенный уровень усилия. Более высокое усилие улучшит производительность на большинстве задач, требующих интеллекта, но также может демонстрировать убывающую отдачу.

Для вашего случая использования вы можете посмотреть на такой график и сказать: «Я потрачу столько токенов, сколько потребуется, чтобы получить наилучший интеллект». Или вы можете сказать: «Относительное улучшение производительности между очень высоким и максимальным усилием не стоит разницы в токенах, которые я потрачу, поэтому очень высокое усилие — лучший выбор для моего случая».

Низкое усилие, наоборот, может помочь выполнить задачу гораздо быстрее и сэкономить много токенов, но оно также ограничивает тщательность, с которой Claude выполняет поставленную задачу. В качестве быстрого совета: при использовании низкого усилия Claude действительно старается экономить токены насколько это возможно. И поэтому иногда вы можете заметить, что он делает неожиданные сокращения, которых вы не ожидали. Поэтому, помимо просмотра оценок, мы всегда считаем хорошей практикой тратить время на чтение транскриптов и лучше понимать, как именно Claude отвечает при заданном уровне усилия на то, что вы просите его сделать.

С другой стороны, низкие усилия также удивляли нас в некоторых очень интересных аспектах. Одна из моих любимых оценок, которые мы создали, называется «Claude играет в Покемонов», где Claude получает возможность пройти оригинальную игру Pokemon Red, которую многие из нас знают и любят с детства. Когда мы запустили «Claude играет в Покемонов» на низком усилии, произошло кое-что действительно интересное: он в итоге отнесся к игре как к скоростному прохождению. Он пропускал битвы с тренерами, чтобы сэкономить время. Он использовал лечебные предметы, которые накопил, вместо того чтобы тратить время на возвращение в центры покемонов. И он спамил предметом «Репеллент», который ограничивает нежелательные встречи с другими покемонами, что позволяло быстрее проходить пещеры.

И что мне кажется самым интересным в этом — часто мы можем связывать низкое усилие с низким интеллектом, но для любого из нас, кто вырос, играя в эту игру, вы на самом деле понимаете, что это супер умная стратегия. Требуется определенный уровень интеллекта, чтобы понять, как минимизировать расход токенов, чтобы пройти эти уровни как можно быстрее. И было интересно наблюдать, как интерпретация Claude низкого усилия привела к тому, что он проходил игру как можно быстрее, используя при этом действительно умные стратегии.

Итак, оценки всегда идеальны.