Запуск навыка кэширования в Claude Code ведет к появлению записей и попаданий в кэш вместо нулевого процента

Запуск навыка кэширования в Claude Code ведет к появлению записей и попаданий в кэш вместо нулевого процента

Связка 1

Начальное состояние: процент попаданий в кэш равен нулю, пользователь не знает о проблеме и не оптимизирует кэширование промптов
Преобразование: запуск встроенного навыка Claude Code, который является экспертом по кэшированию промптов, и команда «улучши мой показатель попаданий в кэш»; навык проводит пользователя через процесс добавления маркеров управления кэшем и реорганизации промпта
Конечное состояние: появляются записи в кэш и попадания в кэш, агентный цикл использует кэширование KV-значений, процент попаданий в кэш начинает улучшаться

Второе: мы недавно запустили навык для Claude code, который является экспертом по кэшированию промптов. Он установлен по умолчанию в Claude code, так что всё, что вам нужно сделать, — это зайти в Claude code и сказать: «улучши мой показатель попаданий в кэш», и Claude проведёт вас через процесс добавления маркеров управления кэшем, возможно, реорганизации части промпта — просто проведёт вас через этот процесс, чтобы вы могли добиться очень высокого показателя попаданий в кэш.

Это абсолютно очевидное решение — я думаю, вам стоит попробовать это сделать.

Итак, давайте посмотрим демо того, как работает кэширование промптов.

Я приглашу Бена на сцену. Бен, выходи, и мы посмотрим на эту демку. И я работал над этой демкой. Это исполнительная панель. Итак, скажем, вы генеральный директор компании, и у вас есть все эти цели, и мы запускаем... Бен, это та демка, о которой мы договаривались?

Мы на Code with Claude, это выглядит как SharePoint UI конца девяностых, я не знаю. Что, у тебя есть Cloud Code? Ладно, открывай Cloud Code, посмотрим, что можно сделать. Хорошо, у Бена есть Cloud Code, он подключен, у него есть исходный код для этого, и мы посмотрим, сможем ли мы улучшить эту тему. Сколько человек хотят лучшую тему?

Окей, вот так. Окей, лучшая тема, это немного более уместно для нашего мероприятия? Мы теперь не скучный гендиректор из девяностых, мы генеральный директор Hero Corp AI. И Hero Corp занимается тем, что сдает в аренду супергероев для борьбы со злодеями, защиты Метрополиса, прихода на день рождения вашего ребенка — чем они только не занимаются. И затем мы видим цели.

Это цель номер один. Мне сказали, что удержание супергероев — очень важная вещь, и поэтому цель номер один связана с их удержанием, и Бен, я не знаю. Может быть, мы недостаточно платим супергероям. Похоже, у них тут маловато. И вы можете видеть некоторые обновления от каждого из супергероев, а затем у генерального директора есть несколько задач, которые мы можем выполнить.

Бим, ты знаешь, какой процент попадания в кэш? Знаешь? Нет, нет. Ладно. Ты не знаешь, какой процент попадания в кэш — ладно, ладно.

Итак, во-первых, нужно знать, какой процент попадания в кэш. Итак, что мы сделали — мы реализовали консоль разработчика для этой маленькой демки. Откройте консоль разработчика, и давайте посмотрим. В этой маленькой консоли разработчика вы видите наше использование контекста, вызовы инструментов, и здесь происходит агентный транскрипт. Разве вы не хотели бы, чтобы все ваши приложения имели такую красивую панель разработчика?

Но я заметил в этой панели одну вещь, которая сразу бросается в глаза: процент попадания в кэш равен нулю. Я имею в виду, я не знаю. Бен, можем ли мы что-то сделать, чтобы улучшить процент попадания в кэш? Итак, он откроет Cloud Code, вернется к этому и просто улучшит процент попадания в кэш, и теперь мы перезапустим это. И заметьте, когда мы перезапускаем, мы снова выполняем все те же вызовы инструментов, но на этот раз в агентном транскрипте вы видите записи в кэш и попадания в кэш.

Итак, кэш: когда система вывода впервые видит сегмент промпта, она записывает его в кэш. Мы храним эти KV-значения по умолчанию в течение пяти минут, вы можете продлить это с помощью некоторых опций. И затем, когда цикл повторяется, это становится попаданием в кэш. Таким образом, в обычном агентном цикле вы увидите несколько попаданий в кэш и несколько чтений из кэша. Итак, у нас здесь дела идут немного лучше, и я думаю, вы увидите, как в ходе демонстрации процент попаданий в кэш будет улучшаться.