Pelajari

Siklus hidup pengembangan agen AI: tahapan, eval, dan guardrail

Membangun agen AI berbeda dari merilis fitur biasa. Output-nya probabilistik, tool-nya punya efek nyata, dan kualitas diukur dengan eval, bukan hanya pengujian. Inilah siklus hidup yang bertahan di produksi.

Siklus hidup pengembangan agen AI adalah proses untuk membangun, merilis, dan menjalankan agen AI: mendefinisikan tugas dan kriteria keberhasilan, memilih model dan tool, membangun prompt, tool, dan memori, mengevaluasi dengan eval offline dan red teaming, melakukan deploy dengan guardrail dan persetujuan manusia, lalu memantau dan beriterasi. Bedanya dengan SDLC klasik: perilaku agen bersifat probabilistik, sehingga eval dan guardrail saat runtime mengambil alih banyak hal yang dulu dijamin oleh pengujian tetap.

Ideal untukTim yang membangun agen dan copilot AIPemimpin produk dan engineering dengan fitur LLMSiapa pun yang menyusun proses rilis untuk agen

Dipublikasikan 2026-11-11 · Terakhir diperbarui 2026-11-11 · Tim editorial Automo

Apa yang membuat siklus hidup agen berbeda

Halaman ini membahas pembangunan agen itu sendiri: agen dukungan pelanggan, copilot internal, agen riset atau operasional yang memanggil tool atas nama seseorang. Jika Anda ingin tahu bagaimana AI mengubah siklus hidup software biasa, baca AI dalam SDLC. Untuk definisi siklus hidup yang dijalankan oleh agen, lihat Apa itu AI SDLC.

Tiga fakta membuat pekerjaan agen berbeda. Input yang sama bisa menghasilkan output berbeda, jadi satu kali percobaan yang berhasil hampir tidak membuktikan apa-apa. Agen bertindak melalui tool, jadi jawaban yang salah bisa menjadi tindakan yang salah: refund yang terkirim, data yang terhapus, email yang terkirim. Dan kualitas bergeser setelah peluncuran karena model, prompt, data, dan perilaku pengguna berubah. Siklus hidup di bawah ini dibangun di sekitar tiga fakta tersebut.

Enam tahap siklus hidup pengembangan agen

Pertama kali, tahapannya berjalan berurutan; setelah itu menjadi loop. Setiap kegagalan di produksi menjadi kasus eval baru, dan setiap perubahan eval mengirim agen kembali melewati tahap empat sampai enam.

  1. 1. Definisikan tugas dan kriteria keberhasilan

    Tuliskan tugasnya, penggunanya, apa yang boleh dan tidak boleh dilakukan agen, dan bagaimana Anda tahu agen itu bekerja: target tingkat keberhasilan tugas, jenis kesalahan yang bisa diterima, latensi, dan biaya per tugas. Kumpulkan 30 sampai 100 contoh nyata sekarang. Itulah set eval pertama Anda.

  2. 2. Pilih model dan tool

    Pilih model terkecil yang memenuhi standar pada contoh Anda, dan set tool paling minimal yang dibutuhkan tugas itu. Setiap tool adalah izin. Mulailah dengan akses baca saja; apa pun yang menulis, membayar, atau mengirim mendapat cakupan sempit.

  3. 3. Bangun prompt, tool, dan memori

    Tulis system prompt dan deskripsi tool, tambahkan retrieval atau memori hanya di tempat tugas butuh konteks, dan versikan semuanya seperti kode. Perubahan prompt adalah perubahan kode dan layak mendapat review serta riwayat.

  4. 4. Evaluasi dengan eval offline dan red teaming

    Jalankan agen terhadap set eval di setiap perubahan dan beri skor untuk keberhasilan tugas, ketepatan pemanggilan tool, keamanan, dan biaya. Tambahkan kasus adversarial seperti prompt injection, permintaan di luar cakupan, dan upaya mengeluarkan data. Perubahan yang menurunkan skor tidak dirilis.

  5. 5. Deploy dengan guardrail dan persetujuan manusia

    Rilis di balik filter input dan output, batas frekuensi dan pengeluaran, serta kredensial dengan cakupan sempit. Wajibkan persetujuan manusia untuk tindakan yang tidak bisa dibatalkan atau bernilai tinggi sampai eval dan data produksi membenarkan otonomi lebih besar. Mulailah dengan sebagian kecil trafik.

  6. 6. Pantau dan iterasi

    Catat setiap eksekusi beserta pemanggilan tool-nya, tinjau sampel percakapan, lacak biaya, latensi, dan tingkat eskalasi, lalu ubah kegagalan nyata menjadi kasus eval baru. Set eval semestinya bertambah setiap minggu selama agen aktif.

Siklus hidup agen sekilas

TahapOutput utamaTitik kontrol manusiaRisiko utama
DefinisiSpesifikasi tugas, metrik keberhasilan, contoh awalPersetujuan cakupan dan batasanTujuan kabur yang tidak bisa diuji
Model dan toolPilihan model, daftar tool beserta cakupannyaPersetujuan setiap izin tulisTool dengan kuasa berlebihan
BangunPrompt, tool, dan memori yang diversikanReview perubahan prompt dan toolPerubahan prompt yang tidak terlacak
EvaluasiSkor eval dan temuan red teamingKeputusan standar rilisRilis hanya karena beberapa demo bagus
DeployGuardrail, batasan, dan gerbang persetujuanPersetujuan tindakan berisikoTindakan permanen tanpa review
PantauTrace, data biaya, kasus eval baruReview kegagalan mingguanPenurunan kualitas yang diam-diam

Eval dan guardrail adalah tulang punggungnya

Dalam SDLC klasik, pengujian memberi tahu apakah kode melakukan yang seharusnya. Pada agen, peran itu diambil eval, tetapi eval menilai distribusi, bukan jawaban tunggal. Simpan tiga jenis: set regresi berisi tugas nyata, set adversarial untuk red teaming, dan golden set kecil yang ditinjau pakar domain. Jalankan semuanya di setiap perubahan prompt, model, atau tool, sama seperti CI menjalankan pengujian di setiap commit.

Guardrail menutup apa yang tidak bisa diprediksi eval. Guardrail bekerja saat runtime: apa yang boleh dipanggil agen, berapa banyak yang boleh dibelanjakan, tindakan mana yang menunggu manusia. Agen yang menyiapkan refund sebaiknya bukan agen yang menyetujuinya. Pemisahan tugas ini adalah prinsip yang sama yang menempatkan review manusia sebelum merge dalam AI SDLC yang tergovernansi.

Posisi Automo Build

Kebanyakan agen dirilis sebagai fitur di dalam sebuah app: asisten dukungan di portal pelanggan, agen persetujuan di tool internal. Dengan Automo Build, Anda membangun app itu, termasuk fitur AI-nya, dari sebuah prompt, sementara agen platform menulis dan menguji kode, dan agen reviewer serta Guardrails memeriksa setiap perubahan sebelum merge. Agen yang Anda rilis menempuh jalur ke produksi yang sama-sama sudah ditinjau seperti bagian app lainnya.

Pertanyaan yang sering diajukan

Apa itu siklus hidup pengembangan agen AI?

Proses untuk membangun dan menjalankan agen AI: mendefinisikan tugas dan kriteria keberhasilan, memilih model dan tool, membangun prompt, tool, dan memori, mengevaluasi, melakukan deploy dengan guardrail dan persetujuan manusia, lalu memantau dan beriterasi.

Apa bedanya dengan SDLC?

Tahapannya mirip, tetapi perilaku agen bersifat probabilistik dan agen bertindak melalui tool. Karena itu eval, red teaming, guardrail saat runtime, dan pemantauan produksi menjadi pusatnya, sementara SDLC klasik terutama mengandalkan pengujian deterministik.

Apa itu eval agen?

Set pengujian yang bisa diulang untuk menilai output dan pemanggilan tool agen pada tugas nyata dan adversarial. Eval menahan rilis seperti unit test menahan perubahan kode, dan bertambah seiring produksi memunculkan kegagalan baru.

Kapan agen AI butuh persetujuan manusia?

Untuk tindakan yang tidak bisa dibatalkan, mahal, atau terlihat oleh pelanggan: pembayaran, penghapusan, pesan keluar, perubahan hak akses. Pertahankan persetujuan untuk tindakan itu sampai hasil eval dan data produksi menunjukkan agen menanganinya dengan andal, lalu longgarkan satu jenis tindakan demi satu jenis tindakan.

Halaman terkait

Bangun software yang dulu Anda tunggu.

Siklus hidup pengembangan agen AI | Automo