Cara SONAR menghitung, dan seberapa tepat hasilnya

1. Pengumpulan data

Untuk setiap proyek, kolektor berjalan setiap 30 menit dengan kata kunci, akun, dan tautan unggahan yang ditetapkan klien. Daftar kanal dan cara pengambilannya ada di bagian sumber data. SONAR hanya mengambil konten yang dapat diakses publik, dan jumlah permintaan dibatasi kuota API serta anggaran harian. Karena itu volume di SONAR adalah sampel percakapan yang konsisten dari hari ke hari, bukan hitungan seluruh unggahan di sebuah platform.

Saat ini basis data memuat 348.995 item yang terkumpul. 88.428 di antaranya (25,3%) ditandai tidak relevan dan 18.301 ditandai duplikat; keduanya tidak ikut dihitung di dasbor.

2. Relevansi

Setiap proyek punya aturan relevansi: kata kunci dicocokkan sebagai kata utuh, akronim dicocokkan dengan huruf besar yang tepat, dan konteks tertentu dikecualikan (misalnya singkatan yang sama dengan arti lain). Item yang skornya di ambang batas diperiksa model bahasa. Komentar mengikuti status relevansi unggahan induknya, dan unggahan yang isinya sama ditandai sebagai duplikat.

Item yang ditolak tidak dihapus. Ia disimpan bersama alasannya dan bisa dikembalikan oleh analis.

3. Label sentimen

Setiap proyek memilih satu dari dua mode:

• Mode nada: label menggambarkan sikap penulis terhadap aktor atau isu yang dibahas (memuji, mengkritik, atau sekadar memberi informasi).
• Mode sikap: label menggambarkan apakah mention menguntungkan atau merugikan satu organisasi tertentu. Kritik yang ditujukan ke pihak lain dihitung netral, walaupun nadanya keras.

Selain label utama, SONAR menyimpan nada umum tulisan dan target yang dinilai (siapa atau apa yang dipuji atau dikritik), sehingga analis bisa melihat mengapa sebuah mention diberi label tertentu.

Aturan bahasa yang dipakai

• Negasi membalik makna (“tidak becus” negatif).
• Sarkasme dinilai dari maksudnya, bukan kata-katanya.
• “Setuju” atau “betul” mengikuti makna pernyataan yang disetujui.
• Kata topik seperti korupsi, sidang, atau demo dalam judul berita faktual tidak otomatis negatif.
• Arah indikator diperhitungkan: harga atau pajak naik negatif, pertumbuhan atau investasi naik positif.
• Komentar dinilai bersama unggahan induknya, tetapi yang diberi label adalah komentarnya.
• Bahasa gaul dan ejekan politik yang umum di media sosial Indonesia dikenali.

Siapa yang memberi label

Saat ini 99,3% dari 91.776 mention relevan dalam 30 hari terakhir berlabel model bahasa. Untuk seluruh basis data (245.513 mention relevan sejak 2024) angkanya 99,7%, dan 99,7% memakai kodebuku terbaru. Data lama yang belum diproses ulang masih berlabel leksikon atau prompt lama; halaman Sentiment menampilkan porsi ini untuk rentang yang Anda pilih.

4. Emosi dan kategori

Emosi yang dilabeli adalah emosi yang diungkapkan penulis, bukan emosi tokoh yang diberitakan. Judul berita, rilis, dan pengumuman biasanya tidak diberi emosi. Kategori dipilih satu sampai tiga dari 11 label tetap (sosial, politik, ekonomi, kesehatan, budaya, gaya hidup, teknologi, pertahanan, ideologi, keamanan, hukum) berdasarkan pokok bahasan; bila tidak ada yang cocok, kategori dikosongkan.

5. Uji akurasi

Kami membandingkan label otomatis dengan label manusia pada set uji 508 mention dari dua proyek dan tujuh kanal (diambil acak per kanal, dilabeli satu anotator). 311 mention di antaranya relevan; angka untuk mention relevan adalah yang paling penting. Pengukuran dilakukan 24 Oktober 2026 dengan prompt klasifikasi versi 2 dan versi model bahasa sebelumnya. Pengukuran ulang dengan model yang dipakai sekarang belum dilakukan.

Sentimen oleh model bahasa

Pada mention relevan, presisi label negatif 67% dengan recall 83%; label positif 57% dengan recall 73%. Pada proyek mode sikap, 15 dari 37 ketidaksesuaian adalah berita advokasi organisasi yang dilabeli netral oleh anotator tetapi positif oleh model, sesuai kodebuku versi 2 yang ditetapkan kemudian. Dinilai dengan kodebuku itu, akurasinya sekitar 72%.

Pembanding dan pemeriksaan lain

Batasan uji ini

• Set uji dilabeli satu orang; kesepakatan antar-anotator belum diukur.
• Sebagian label set uji masih mengikuti kodebuku versi 1 dan perlu dianotasi ulang.
• Presisi emosi masih rendah. Gunakan grafik emosi sebagai indikasi arah, bukan ukuran.
• Leksikon melewatkan sekitar dua pertiga komentar negatif, sehingga label leksikon tidak boleh dibaca sebagai sentimen yang tervalidasi.

6. Cara angka di setiap halaman dihitung

Semua halaman memakai filter yang sama: proyek, rentang tanggal, zona waktu, kanal, dan kata pencarian. Hanya mention relevan yang dihitung, sehingga total di halaman yang berbeda cocok satu sama lain.

7. Skor struktur Campaign Decoder

Campaign Decoder menilai apakah video-video sebuah kampanye kreator di TikTok dan Instagram muncul sendiri atau mengikuti satu brief yang berpola. Penilaian memakai tiga belas keluarga sinyal yang dihitung dari video kampanye itu sendiri:

• Pola waktu unggah: berapa banyak video jatuh dalam jendela 48 jam terpadat
• Gelombang kreator: banyak kreator berbeda yang mulai mengunggah dalam beberapa jam yang sama
• Paket hashtag identik: kombinasi hashtag yang sama di banyak akun, di luar hashtag umum seperti fyp
• Caption berulang: caption yang hampir sama lintas kreator
• Hook berulang: kalimat pembuka video yang hampir sama
• Keseragaman sudut pesan: porsi video yang membawa sudut pesan terbesar
• Konsentrasi format: seberapa banyak video masuk ke satu format
• Urutan beat: urutan hook, kemunculan brand atau isu, metode, manfaat, dan CTA yang seragam
• Keseragaman CTA: ajakan bertindak yang sama, misalnya kode atau tautan yang sama
• Porsi konten bersponsor: label paid partnership, afiliasi, dan sinyal promosi lain
• Keseragaman engagement: rasio interaksi yang terlalu mirip antarvideo
• Keseragaman sikap: porsi sikap dominan di antara video yang memuji atau mengkritik brand atau isu, dihitung bila ada cukup video bersikap dari cukup banyak kreator; ambangnya lebih tinggi untuk kampanye brand karena kampanye berbayar memang positif
• Kode kampanye bersama: hashtag berpola kode (huruf dan angka, misalnya #abcd12) yang dipakai banyak kreator sekaligus; program clipper dan afiliasi memberi satu kode per brief untuk melacak tayangan

Setiap sinyal diberi skor 0 sampai 100; makin tinggi, makin kuat polanya mengarah ke brief bersama. Skor kampanye adalah rata-rata berbobot dari sinyal yang datanya cukup. Bobot terbesar ada pada teks yang berulang (caption, hook, paket hashtag, teks CTA), disusul pola waktu unggah dan keseragaman sudut pesan serta sikap. Hasilnya dibaca sebagai organik (di bawah 35), campur (35 sampai 65), atau terstruktur (di atas 65). Kampanye dengan terlalu sedikit video tidak diberi vonis; kampanye kecil, atau yang sinyal berdatanya mewakili kurang dari separuh bobot, ditandai sementara.

Lonjakan waktu saja tidak membedakan brief dari reaksi atas berita: delapan puluh video dalam dua hari setelah sebuah peristiwa terlihat sama seperti hari tayang sebuah kampanye. Karena itu skor pola waktu unggah dan gelombang kreator dikalikan setengah bila tidak ada satu pun sinyal teks yang mencapai 35, dan koreksi itu ditulis apa adanya di laporan: skor mentah, skor akhir, dan alasannya. Untuk kampanye isu, ambang keseragaman sudut pesan dibuat lebih longgar, karena pembicaraan tentang satu peristiwa memang terklaster secara alami.

Dua aturan mencegah bukti yang tegas larut dalam rata-rata. Pertama, kode kampanye yang sama di lima kreator atau lebih dengan skor 50 ke atas menaikkan label sekurang-kurangnya ke campur. Kedua, kampanye isu juga dinilai per kubu: video yang mendukung dan yang menentang dihitung terpisah (tanpa sinyal keseragaman sikap, yang di dalam satu kubu pasti tinggi). Bila satu kubu mencapai 35 sementara campurannya terbaca organik, label keseluruhan menjadi campur dan kubunya disebut di laporan.

Model bahasa lalu menyusun ulang kemungkinan brief dari bukti yang sama: pesan utama, hashtag wajib, pola CTA, dan jendela unggah, selalu bersama bukti tandingan dan daftar hal yang perlu diperiksa manusia. Skor tinggi berarti pola yang kuat, bukan bukti pembayaran, akun palsu, atau siapa yang memesan kampanye.

8. Pertanyaan tentang metodologi

Bila Anda menemukan angka yang tidak sesuai dengan penjelasan di sini, beri tahu kami melalui formulir kontak. Untuk proyek klien, pengukuran yang sama dapat dibuat atas permintaan.