KLASIFIKASI MULTI LABEL KOMPETENSI PEGAWAI BERDASARKAN DATA PELATIHAN MENGGUNAKAN LARGE LANGUAGE MODEL DENGAN PENDEKATAN ZERO SHOT

Lalu Tedy Adiatma Sulaeman, 3012210026 (2026) KLASIFIKASI MULTI LABEL KOMPETENSI PEGAWAI BERDASARKAN DATA PELATIHAN MENGGUNAKAN LARGE LANGUAGE MODEL DENGAN PENDEKATAN ZERO SHOT. Undergraduate thesis, Universitas Internasional Semen Indonesia.

	Text (COVER) 0. COVER.pdf Download (225kB)
	Text (HALAMAN JUDUL) 1. HALAMAN JUDUL.pdf Restricted to Repository staff only Download (247kB) | Request a copy
	Text (HALAMAN PENGESAHAN) 2. HALAMAN PENGESAHAN.pdf Restricted to Repository staff only Download (358kB) | Request a copy
	Text (HALAMAN PERSETUJUAN PUBLIKASI) 3. HALAMAN PERSETUJUAN PUBLIKASI.pdf Restricted to Repository staff only Download (305kB) | Request a copy
	Text (HALAMAN PERNYATAAN ORISINALITAS) 4. HALAMAN PERNYATAAN ORISINALITAS.pdf Restricted to Repository staff only Download (252kB) | Request a copy
	Text (LEMBAR HASIL FINAL DETEKSI PLAGIASI SKRIPSI) 5. LEMBAR HASIL FINAL DETEKSI PLAGIASI SKRIPSI.pdf Restricted to Repository staff only Download (367kB) | Request a copy
	Text (ABSTRAK) 6. ABSTRAK.pdf Download (366kB)
	Text (KATA PENGANTAR) 7. KATA PENGANTAR.pdf Restricted to Repository staff only Download (280kB) | Request a copy
	Text (DAFTAR ISI) 8. DAFTAR ISI.pdf Download (417kB)
	Text (DAFTAR GAMBAR) 9. DAFTAR GAMBAR.pdf Restricted to Repository staff only Download (311kB) | Request a copy
	Text (DAFTAR TABEL) 10. DAFTAR TABEL.pdf Restricted to Repository staff only Download (301kB) | Request a copy
	Text (BAB I PENDAHULUAN) 11. BAB I PENDAHULUAN.pdf Download (398kB)
	Text (BAB II KAJIAN PUSTAKA) 12. BAB II KAJIAN PUSTAKA.pdf Restricted to Registered users only Download (613kB) | Request a copy
	Text (BAB III METODOLOGI PENELITIAN) 13. BAB III METODOLOGI PENELITIAN.pdf Restricted to Registered users only Download (657kB) | Request a copy
	Text (BAB IV HASIL DAN PEMBAHASAN) 14. BAB IV HASIL DAN PEMBAHASAN.pdf Restricted to Registered users only Download (753kB) | Request a copy
	Text (BAB V PENUTUP) 15. BAB V PENUTUP.pdf Restricted to Registered users only Download (321kB) | Request a copy
	Text (DAFTAR PUSTAKA) 16. DAFTAR PUSTAKA.pdf Download (342kB)
	Text (LAMPIRAN) 17. LAMPIRAN.pdf Restricted to Repository staff only Download (141kB) | Request a copy
	Text (FULLTEXT DOC) 18. SKRIPSI - LALU TEDY ADIATMA SULAEMAN (3012210026).docx Restricted to Repository staff only Download (7MB) | Request a copy
	Text (FULLTEXT) 19. SKRIPSI - LALU TEDY ADIATMA SULAEMAN (3012210026).pdf Restricted to Repository staff only Download (2MB) | Request a copy
	Image (POSTER) 20. POSTER.jpg Download (2MB)

Abstract

Penelitian ini bertujuan mengevaluasi kemampuan beberapa model Large Language Model (LLM) berbasis GPT dalam melakukan competency recognition berdasarkan nama pelatihan dan sertifikat menggunakan pendekatan zero-shot. Sebagai prasyarat evaluasi, dibangun ground truth kompetensi melalui proses anotasi oleh dua orang expert, pengukuran inter-annotator agreement yang menghasilkan nilai Avg Jaccard Similarity sebesar 83,12%, dan adjudication untuk memperoleh label akhir yang disepakati. Evaluasi dilakukan dengan membandingkan prediksi setiap model terhadap ground truth menggunakan metrik evaluasi multi-label, serta menganalisis tingkat kesamaan prediksi secara berpasangan antar model. Hasil evaluasi menunjukkan bahwa GPT-4.1-nano menghasilkan performa terbaik berdasarkan metrik utama dengan nilai Average Jaccard 60,78% dan Exact Match Ratio 59,98% terhadap ground truth, meskipun keunggulan ini lebih disebabkan oleh kecenderungan konservatif model yang sesuai dengan distribusi data mayoritas unsupported. GPT-5.4-nano menunjukkan keseimbangan terbaik secara keseluruhan dengan Outcome Balanced Accuracy tertinggi (65,46%) dan Supported F1 tertinggi (62,45%). Analisis kesamaan antar model menunjukkan variasi konsistensi yang signifikan, dengan pasangan GPT-4.1-mini dan GPT-5.4-nano sebagai yang paling konsisten (Average Jaccard 56,74%) dan pasangan GPT-4.1-nano dan GPT-5.4-mini sebagai yang paling divergen (Average Jaccard 23,67%). Hasil penelitian ini diharapkan dapat menjadi referensi dalam memilih model GPT yang paling sesuai untuk mendukung proses identifikasi kompetensi pegawai di perusahaan.

Item Type:	Thesis (Undergraduate)
Additional Information:	Softfile/KK.26/UISI-01/IF
Contributors:	Contribution Name Email Thesis advisor Ruktin Handayani, S.Kom., M.Kom., MCE ruktin.handayani@uisi.ac.id
Subjects:	T Technology > T Technology (General)
Divisions:	Department of Informatics
Depositing User:	Lalu Tedy Adiatma Sulaeman
Date Deposited:	28 Aug 2026 14:06
Last Modified:	01 Sep 2026 14:02
URI:	https://repository.uisi.ac.id/id/eprint/9111

Actions (login required)

View Item