Description ·  Memantau dan mengevaluasi metrik kinerja GenAI melalui dashboard AI

·  Mengidentifikasi anomali, kesenjangan akurasi, atau bias dalam respons sistem

·  Memberikan tinjauan rutin terkait kualitas model dan hasil pengalaman pengguna

·  Melakukan pengujian Human-in-the-Loop (HITL) dengan merekomendasikan skenario dan kasus uji untuk validasi respons GenAI

·  Berkolaborasi dengan tim lintas fungsi untuk memastikan evaluasi manusia terintegrasi secara efektif

·  Menganalisis output GenAI untuk menyarankan strategi pembelajaran penguatan

·  Memberikan rekomendasi konkret untuk penyetelan prompt, penyesuaian model, dan optimasi RAG

·  Meninjau hasil analisis sentimen dari umpan balik pengguna (positif, negatif, netral)

·  Berkolaborasi lintas fungsi untuk menghasilkan wawasan yang mendukung rencana peningkatan sistem GenAI

·  Memastikan proses QA sesuai dengan standar perusahaan, pedoman etika AI, dan persyaratan regulasi

·  Menyusun dokumentasi terkait protokol pengujian QA, hasil evaluasi, dan rekomendasi perbaikan

Requirement ·  Lulusan S1 di bidang Ilmu Komputer, Data Science, Teknik, atau bidang terkait (S2 menjadi nilai tambah)

·  Berpengalaman dalam evaluasi GenAI menggunakan framework seperti OpenAI Evals, RAGAS, dan scoring kustom

·  Memahami platform AI berbasis cloud (seperti OpenAI, Gemini, Llama) dan konsep Generative AI, termasuk RAG pipeline, embeddings, dan evaluasi LLM

·  Mampu melakukan analisis query, validasi data, serta memahami metrik evaluasi AI seperti akurasi, presisi, recall, BLEU/ROUGE

·  Memiliki pengetahuan atau pengalaman dalam feedback loop, reinforcement learning, serta pemrograman dasar (Python) untuk kebutuhan QA

·  Teliti, memiliki kemampuan problem solving, serta mampu merancang dan mengeksekusi rencana pengujian dan evaluasi sistem AI

·  Kompeten dalam melakukan analisis sentimen dan teks dari umpan balik pengguna, serta memiliki pengalaman di bidang QA AI atau proyek etika & tata kelola AI

🚀 Tips: Siapkan CV terbaikmu & daftar sebelum kuota habis!

🔗 Sumber: https://glints.com/id/en/opportunities/jobs/ai-qa-engineer/e224a603-7f22-44e2-aa99-6b15b62aea67