エージェント型の AI(Coding Agent など)の動作には、特有のデータパターンが存在します。
会話が進むたびに、過去の履歴、ツールの定義、ユーザーの依頼、実行されたコマンドといった膨大な情報がモデルに送られます。
一方で、モデルから返ってくる返答は、多くの場合、数行程度の短いツール呼び出し(Tool Call)です。
このように「入力が非常に長く、出力が短い」という特性を持つワークロードでは、会話が長引くほど、毎回最初から全ての履歴を処理する必要があり、計算コストと待ち時間が指数関数的に増大してしまいます。
解決策となる「Prefix Caching(プレフィックス・キャッシュ)」の役割
この問題を解決する鍵となるのが「Prefix Caching(プレフィックス・キャッシュ)」という技術です。
これは、一度計算したプロンプトの既知の部分(プレフィックス)を保存しておき、次のリクエストで再利用する仕組みです。
キャッシュを利用することで、新しい追加部分のみを計算すれば済むため、長時間のセッションにおいても高速かつ低コストな動作が可能になります。
しかし、このキャッシュは非常に繊細であり、不適切な実装によって簡単に「キャッシュの破壊」が起こってしまいます。
キャッシュの効率を最大化するための実装ポイント
キャッシュを維持するためには、エージェントを制御する「Harness(ハーネス)」側と、推論エンジンを行う「Engine(エンジン)」側の両方で最適化が必要です。
開発者(Harness 側)が意識すべきこと
エージェントの動作を制御するプログラムでは、以下の点に注意することでキャッシュの恩恵を最大限に受けられます。
- ツール定義の配置
ツールが必要になるたびにプロンプトの先頭に追加すると、それ以降のキャッシュがすべて無効になります。可能な限り、新しい定義はプロンプトの末尾に追加するように設計してください。 - システムプロンプトの固定
タイムスタンプや実行ディレクトリなど、ターンごとに変化する情報をシステムプロンプトの冒頭に含めないでください。一文字でも変わると、それ以降のキャッシュが再計算されてしまいます。 - 推論設定の進行
推論の「思考レベル(Reasoning effort)」などを途中で変更すると、プロンプトの冒頭が変わってしまうため、キャッシュが壊れます。設定変更が必要な場合は、新しいセッションとして開始することを検討してください。 - ツール出力の適切な管理
ツールから返ってくる膨大なデータをそのままプロンプトに渡すと、コンテキストウィンドウを圧迫し、コストを増大させます。ただし、どこまで読み込んだかの情報を省略せずに伝えることが、モデルの正確な動作には不可欠です。
インフラエンジニア(Engine 側)が取り組むべきこと
推論エンジン側では、キャッシュを維持するための高度な管理が求められます。
- 適切なルーティング
過去のキャッシュが残っている特定のサーバー(ノード)へ、継続してリクエストを送信するように制御する必要があります。 - キャッシュの退避と復元
エージェントがツール実行中に待機している間、キャッシュを GPU メモリから CPU メモリへ退避させ、必要に応じて復元することで、メモリ効率を高めることができます。 - 計算リソースの分離
入力が長い「Prefill(プリフィル)」フェーズと、出力を生成する「Decode(デコード)」フェーズを分離したクラスターで実行することで、大規模な入力による遅延を防ぐことができます。
この技術によるユーザーへのメリット
Prefix Caching を適切に活用することで、以下のようなメリットが得られます。
- エージェント開発者
長時間の複雑なタスクを遂行するエージェントにおいて、レスポンスの遅延を最小限に抑え、API 利用コストを大幅に削減できます。 - サービス運営者
GPU リソースの利用効率を最大化し、より多くのユーザーに対して安価で安定した AI サービスを提供することが可能になります。
まとめ
エージェント型 AI の真価を発揮させるには、Harness 側での「プロンプトの安定化」と、Engine 側での「キャッシュ管理の最適化」の両輪が必要です。
両者が連携して適切に実装されて初めて、大規模なワークロードにおいても高速で経済的な AI エージェントの運用が実現します。
参考情報:Making open models work for long-horizon agentic workloads
※ この記事は、Mac mini M4(32GB)環境で ローカル LLM(Ollama / gemma4:26b)と n8n を組み合わせて生成した実験的な記事です。内容は確認していますが、誤りが含まれる可能性があります。正確な情報は公式情報をご確認ください。
源勝よりひとこと
.png)
原文を翻訳しながら読みましたが技術的で少し難しい・・・。
僕のように「使う側」であればさほど気にする必要はないかもしれないけど、エンジニアはこのような点を理解してハーネスとモデルを選んでいるのだろうなとも思いました。
思考を後から変更しない、変更する場合はセッションを切り替えて進めた方が良い、というところは僕のようなレベルでもわかった部分でした。思考を後から変更するとかはあまりしないけど、気をつけるポイントかなと。
ハーネスとモデルの組み合わせはやっぱり難しいのですよね。



























