Langfuse

Langfuse がエージェント型データスタックにオブザーバビリティとトレーシングを提供する方法

Langfuse は、Agentic Data Stack のオブザーバビリティレイヤーです。LibreChat でのエージェントの動作を記録するため、デバッグや品質の測定、コストの追跡が可能になります。Langfuse は OpenTelemetry を基盤としており、ClickHouse 上で動作します。

​

すべての実行をトレースして調査する

すべての会話は Langfuse トレース として記録されます。これには、プロンプト、各ツール呼び出し (エージェントが実行した SQL を含む) 、レスポンスが含まれます。各 トレース には、トークン使用量、コスト、レイテンシも記録されます。実行を開くと、エージェントが何をしたのか、どこで失敗したのかを確認できます。ユーザーとセッションでソートすると、誰が最も多く消費しているかを把握できます。

​

出力品質を評価する

モデルの出力は非決定論的であるため、Langfuse を使えば勘に頼るのではなく、その品質を測定できます。人手によるアノテーション や自動化された LLM-as-a-judge 評価器で実行結果をスコア化できます。たとえば、回答が誤っている場合や分析が役に立たない場合にフラグを立てられます。

​

スタック内

このスタックは LibreChat を Langfuse に接続しているため、すべての実行が自動的にトレースされ、追加のインストルメンテーションは不要です。トレースはスタック専用の ClickHouse インスタンスに保存されるため、オブザーバビリティデータを、クエリするデータとあわせて保持できます。これをスタックの一部として実行するには、Docker セットアップガイドを参照してください。

スタンドアロンの LibreChat インスタンスからトレースを送信する場合や、地域別または HIPAA 対応の Langfuse エンドポイントを使用する場合は、Langfuse companion guideを参照してください。ClickHouse 上の Langfuse 全般については、Langfuse 概要を参照してください。

マネージド環境をご希望ですか？ Langfuse Cloud は、マネージドな ClickHouse クラスターを基盤とする完全マネージド型デプロイメントで、運用するインフラストラクチャは不要です。