【AIエンジニア】LLMトレース/評価基盤の設計支援のフリーランス

・Langfuseを用いたLLMトレース・評 価基盤の設計に携わっていただきます。 ・主に下記作業をご担当いただきます。 - 自動評 価 / 人手評 価の設計および運用 - ログデータ分析による品質課題の特定 - プロンプト / モデル改善提案と検証 - 改善サイクルの仕組み化(再現可能な運用設計) - コスト・トークン最適化設計

・LLM/MLの本番運用経験 ・モデル評 価指標の設計経験 ・データ分析に基づく改善提案経験 ・LLMOpsツールの利用経験

・LLMアプリ開発経験 ・RAG設計経験 ・Langfuseの利用経験 ・A/Bテスト設計経験 ・プロンプトエンジニアリング ・TypeScript（Node.js）でのバックエンド開発経験 ・MLにおけるCI/CDパイプラインの設計経験