LLMOps on GAO AI Blog

LLMアプリの評価データをバージョン管理する - Langfuseのデータセットバージョニングで実験の再現性を確保する

Fri, 27 Feb 2026 00:00:00 +0000

LLMアプリケーションの開発で、こんな経験はないでしょうか。

「先週と同じ条件で実験したいのに、データセットを更新したから再現できない…」

「評価データを改善したいけど、過去の結果と比較できなくなるのが怖い…」

Langfuse セルフホスト｜OSS vs Enterprise機能比較

Wed, 03 Dec 2025 00:00:00 +0000

はじめに
#

Langfuseは、LLMアプリケーションの観測性、プロンプト管理、評価を一元管理できるオープンソースプラットフォームです。セルフホストでの運用が可能で、多くの企業が自社環境での導入を進めています。

Langfuseのマルチモーダル対応:画像・音声ファイルのトレース添付機能がGAに

Tue, 02 Dec 2025 00:00:00 +0000

はじめに
#

LLMアプリケーション開発において、テキストだけでなく画像や音声などのマルチモーダルなデータを扱うケースが増えています。Langfuseは2024年8月に初めてマルチモーダルトレースのサポートを発表し、同年11月には画像、音声、PDFなどの添付ファイルにも対応する完全なマルチモーダルサポートを実現しました。

Langfuseデータセット構築ガイド：UI・CSV・SDKの徹底比較

Thu, 13 Nov 2025 00:00:00 +0000

先日、新規アプリケーションのプロンプトを検討するにあたり、トレースデータ（ログ）が存在しない状態からデータセットを作成する必要がありました。

ある程度のデータ量を用意したかったため、手動入力を避ける方法（SDK や CSV）を調査・検証しました。本記事では、基本となる UI での登録手順と、今回試した一括登録の手順をそれぞれ整理し、使い勝手や特徴を比較した備忘録として残します。

Langfuse 入門、そしてなぜ Langfuseが支持をされているのか

Sun, 27 Apr 2025 00:00:00 +0000

1. はじめに: Langfuseとは何か？
#

生成AIアプリケーションを本番投入したものの、「何が悪いか分からないが生成AIアプリが思ったように動かない」「ちょっとプロンプトを変えるだけで、アプリ自体をもう一度リリース」「プロンプトやモデルを変えたら精度は上がような気がするが、どれくらい良くなったのかなどは感覚でしかない」「エージェントが暴走して無限にAPIを叩き続けているが原因が分からない」「どのユーザーセッションで不具合が起きたか追えない」「そもそも役に立ってるのかも分からない」

Agent Development Kit (ADK) のエージェント評価を試してみた！

Fri, 11 Apr 2025 00:00:00 +0000

最近話題の Google 製 AI エージェントフレームワーク「Agent Development Kit (ADK)」を触ってみました！ Gemini モデルとの連携がしやすく、柔軟なエージェント開発が可能とのことで、期待が高まります。エージェントが自律的にツールを使うのは凄いですが、ちゃんと意図通り動くか、修正で壊れないかを確認する「評価」も重要ですよね。

Langfuse Q1 アップデートと Q2 ロードマップのまとめ

Thu, 10 Apr 2025 00:00:00 +0000

更新日：2025年5月8日

2025年4月9日にLangfuseのTownhall が開かれ、そこで直近のメジャーリリースと今後の予定について発表がされました。Langfuseのアップデートについてその速度と進化をシェアすべく、主な内容をまとめてみました！

LLMOpsとは? MLOpsとの違いや生成AIの評価について解説

Thu, 27 Mar 2025 00:00:00 +0000

更新日：2025年4月25日

LLMOps とは？
#

LLMOps（Large Language Model Operations）とは、大規模言語モデル（LLM）を利用した生成AIアプリケーションの開発から運用、改善までを一貫して管理するための考え方や仕組み（フレームワーク）です。多くの企業では、自社でモデルをゼロから構築するのではなく、OpenAI、Google、Anthropic などが提供する基盤モデルを活用し、プロンプト設計やファインチューニング（微調整）を通じて目的に合った生成AIアプリケーションを開発しています。LLMOpsは、こうした開発・運用プロセスを効率化し、品質管理やガバナンスを実現する上で重要な役割を果たします。

Langfuse / LangSmith 比較レポート

Wed, 26 Feb 2025 00:00:00 +0000

更新日：2025年5月3日

本記事は、LLM（大規模言語モデル）アプリケーション開発プラットフォームであるLangfuse と LangSmith を比較するものです。両プラットフォームは、開発者が LLM を活用したアプリケーションを構築・運用することを支援しますが、その出自、焦点、実装において違いがあります。各セクションで、主要な基準で両者を比較し、対比を行なっていきます。なお内容は 2025年2月26日時点においての公開情報をもとに作成されております。

Langfuseによるプロンプト管理 (後半) - プロンプト開発＆実験編

Sat, 22 Feb 2025 00:00:00 +0000

更新日：2025年3月8日

[前回の記事 ] では、「Langfuse」を活用したプロンプト管理の方法を具体的に解説しました。Prompt をハードコードすることなく、Diff 、 Commit コメント、Duplicate (複製) 、タグなどの機能を、直感的にエンジニアから非エンジニアまで幅広く使うことができますという内容です。まだご覧になっていない方は、ぜひチェックしてみてください。

Langfuseによるプロンプト管理 (前半) - 基本 & 管理編

Sun, 16 Feb 2025 00:00:00 +0000

更新日：2025年3月8日

[前回の記事 ] では、プロンプト管理の重要性にくわえて、コード埋め込みやGit またはデータベースによる管理の課題について解説しました。今回は、それらの問題を解決すべく「Langfuse」を活用したプロンプト管理の方法を具体的に解説します。

[LLMOps] プロンプト管理の課題

Sat, 15 Feb 2025 00:00:00 +0000

更新日：2025年3月26日

はじめに：生成AIが抱える困難とプロンプト
#

生成AIアプリケーションの開発は、従来のソフトウェア開発とは異なる難しさがあります。

Langfuse で LLM 評価を効率化！活用方法徹底解説

Wed, 05 Feb 2025 00:00:00 +0000

更新日：2025年4月10日

1.初めに
#

近年、AI 技術、特に大規模言語モデル（LLM）の進化は目覚ましく、様々な分野での活用が進んでいます。しかし、LLM をビジネスに適用する上で、その品質をどのように評価するかが大きな課題となっています。

Langfuseでの可視化 [Dify編 (後半) ]

Mon, 20 Jan 2025 00:00:00 +0000

更新日：2025年5月23日

本記事ではDify で作ったLLMアプリケーションをLangfuse で可視化してみた時に、処理はどう見えるのか、そしてどのように役に立つのかをご紹介します。

Langfuseでの可視化 [Dify編 (前半) ]

Fri, 17 Jan 2025 00:00:00 +0000

更新日：2025年5月23日

[後半] ゼロからスケールへ：Langfuseのインフラストラクチャの進化 (和訳)

Thu, 09 Jan 2025 00:00:00 +0000

このBlog記事はガオ株式会社による Langfuse GmbH “From Zero to Scale: Langfuse’s Infrastructure Evolution” の日本語訳後半となります。原文はこちらをご確認ください。

前半記事はこちら。

[前半] ゼロからスケールへ：Langfuseのインフラストラクチャの進化 (和訳)

Mon, 06 Jan 2025 00:00:00 +0000

更新日：2025年1月9日

このBlog記事はガオ株式会社による Langfuse GmbH “From Zero to Scale: Langfuse’s Infrastructure Evolution” の日本語訳前半となります。原文はこちらをご確認ください。

Google CloudでLangfuse v3の構築手順（推奨設定/GKE）

Mon, 16 Dec 2024 00:00:00 +0000

更新日：2025年3月8日

はじめに
#

GAOの遠矢です。普段はLLMアプリケーションの開発を主にしております。

LLMOps on GAO AI Blog

LLMアプリの評価データをバージョン管理する - Langfuseのデータセットバージョニングで実験の再現性を確保する

Langfuse セルフホスト｜OSS vs Enterprise機能比較

はじめに #

Langfuseのマルチモーダル対応:画像・音声ファイルのトレース添付機能がGAに

はじめに #

Langfuseデータセット構築ガイド：UI・CSV・SDKの徹底比較

Langfuse 入門 、そしてなぜ Langfuseが支持をされているのか

1. はじめに: Langfuseとは何か？ #

Agent Development Kit (ADK) のエージェント評価を試してみた！

Langfuse Q1 アップデートと Q2 ロードマップのまとめ

LLMOpsとは? MLOpsとの違いや生成AIの評価について解説

LLMOps とは？ #

Langfuse / LangSmith 比較レポート

Langfuseによるプロンプト管理 (後半) - プロンプト開発＆実験編

Langfuseによるプロンプト管理 (前半) - 基本 & 管理編

[LLMOps] プロンプト管理の課題

はじめに：生成AIが抱える困難とプロンプト #

Langfuse で LLM 評価を効率化！活用方法徹底解説

1.初めに #

Langfuseでの可視化 [Dify編 (後半) ]

Langfuseでの可視化 [Dify編 (前半) ]

[後半] ゼロからスケールへ：Langfuseのインフラストラクチャの進化 (和訳)

[前半] ゼロからスケールへ：Langfuseのインフラストラクチャの進化 (和訳)

Google CloudでLangfuse v3の構築手順（推奨設定/GKE）

はじめに #

はじめに
#

はじめに
#

Langfuse 入門、そしてなぜ Langfuseが支持をされているのか

1. はじめに: Langfuseとは何か？
#

LLMOps とは？
#

はじめに：生成AIが抱える困難とプロンプト
#

1.初めに
#

はじめに
#