Langfuse

Langfuse란 무엇인가

Langfuse(github.com/langfuse/langfuse)는 AI 기능 뒤편의 엔지니어링 작업을 위한 오픈소스 플랫폼입니다. 일반적인 앱에는 로그와 오류 추적이 있지만, LLM 기반 앱에는 더 모호한 문제가 있습니다 — 모델의 출력은 계속 바뀌고, 프롬프트는 서서히 어긋나며, "이게 잘 된 건가?"는 초록불 하나로 답할 수 있는 것이 아니라 판단이 필요한 일입니다. Langfuse는 그 작업에 자리를 마련해 줍니다: 앱을 계측해 두면 모든 LLM 호출을 추적하고, 프롬프트를 저장하고 버전 관리하며, 평가를 실행하고, 저장된 데이터셋을 기준으로 변경 사항을 테스트할 수 있게 해 줍니다. TypeScript로 만들어졌고, 핵심은 MIT 라이선스이며, 몇 분 안에 셀프 호스팅하거나 Langfuse Cloud에서 실행할 수 있고, Y Combinator의 W23 배치에서 나왔습니다.

창업자의 스택에서 Langfuse가 차지하는 위치

Open SaaS나 SaaS 스타터 키트 같은 키트로 만들고 나서 핵심 경험에 LLM을 연결하는, AI 네이티브 제품을 출시하는 점점 늘어나는 창업자들에게 Langfuse는 실제 공백을 채워 줍니다: AI 부분을 블랙박스가 아니라 관찰하고 개선할 수 있는 대상으로 만들어 줍니다. 이는 중요합니다. 조용히 저하되는 AI 기능은 눈에 보이지 않는 리텐션 누수이기 때문입니다. AI로 빌드하고 있다면, 모델 품질을 측정하고 다듬을 수 있는 능력은 실제로 그 일의 일부입니다.

하지만 그 레버리지가 정확히 어디에 닿는지는 분명히 짚어볼 가치가 있습니다. Langfuse는 제품의 내부에서 작동합니다 — 누군가가 이미 쓰고 있을 때 여러분의 AI가 하는 일의 품질입니다. 애초에 그 누군가를 데려오는, 더 어렵고 별개인 문제에 대해서는 아무것도 말해 주지 않습니다.

이 도구가 해주지 않는 것 — 그리고 여러분이 만든 것을 성장시키는 방법

Langfuse는 이번 주에 여러분의 AI가 더 정교해졌다고 알려줄 수는 있지만, 새로운 사람 단 한 명에게도 여러분의 제품이 존재한다고 알려주지는 못합니다. 더 나은 트레이스가 포지셔닝을 써 주거나, 페이지 순위를 올려 주거나, 사용자가 모이는 커뮤니티에 글을 올려 주거나, 한 번 써 본 사람에게 팔로우업을 해 주지는 않습니다. 이는 LLM 엔지니어링과는 다른 영역이며, 여러분이 계측하고 있는 잘 다듬어진 AI 제품이 실제로 쓰이게 될지를 결정하는 쪽은 바로 이 영역입니다.

• 제품을 측정합니다 — 하지만 첫 사용자는 여전히 여러분이 의도적으로 진행하는 런칭, 콘텐츠, 커뮤니티, 아웃리치에서 옵니다.
• 모델 품질을 개선합니다 — 하지만 품질은 사람들이 일단 들어온 뒤에야 복리로 쌓입니다. AI로 만든 제품을 마케팅하는 것은 그 자체로 별개의 루프입니다.
• 이미 존재하는 것을 계측합니다 — 하지만 AI 네이티브 스타트업에게 희소한 자원은 유통이며, 어떤 옵저버빌리티 도구도 그것을 만들어 주지는 않습니다.

바로 이 지점에서 AgentCeres — the AI Growth Officer at agentceres.com가 Langfuse 같은 도구 곁에 자리를 잡습니다. AgentCeres는 매니지드 AI 마케팅 팀입니다: 전문 에이전트들이 여러분의 시장을 리서치하고 사람들을 제품으로 데려올 SEO, 소셜, 아웃리치 초안을 작성하며 — 실제로 나가는 모든 것은 사람이 승인합니다. Langfuse는 쓸 만한 가치가 있는 AI 제품을 만들도록 돕고, AgentCeres는 그것이 실제로 쓰이게 만들도록 돕습니다. 둘은 같은 목표의 반대편에 서 있습니다 — 하나는 제품을 더 낫게 만들고, 다른 하나는 그것을 알립니다.