llm evaluation & observability
Đưa AI lên production rồi thì đo độ chính xác và theo dõi nó kiểu gì? LLM-as-a-Judge, RAG Triad (Context Relevance, Faithfulness, Answer Relevance), Prompt Drift và tracing đầu cuối với Langfuse & OpenTelemetry.
#observability
Things I've written about #observability
- in spring-boot / observability
Distributed Tracing với Micrometer & OpenTelemetry
Distributed Tracing trong Spring Boot 3: đặc tả W3C Trace Context (traceparent & baggage), chuyển từ Sleuth sang Micrometer Tracing, giữ context khi qua thread pool và Kafka, và Tail-Based Sampling với OpenTelemetry Collector.
- in grafana / monitoring
kiến trúc observability với grafana
Kiến trúc Observability với Grafana và LGTM Stack (Loki, Grafana, Tempo, Mimir): 4 Golden Signals, RED/USE, cảnh báo Error Budget Multi-Window Multi-Burn-Rate theo kiểu Google SRE, và cách tránh bẫy bùng nổ Cardinality trong PromQL.
