Cara mengukur ketepatan terjemahan mesin

Sistem terjemahan mesin (MT) moden menghasilkan terjemahan yang semakin lancar dan kaya dengan konteks. Namun begitu, menilai sejauh mana terjemahan itu benar-benar tepat boleh menjadi sesuatu yang agak kompleks. Di bawah ini, kami meneliti kaedah penilaian manusia dan automatik untuk mengukur kualiti MT, bersama model QA dan QE (anggaran kualiti) yang semakin berkembang. Sama ada anda bergantung pada NMT (Neural Machine Translation) atau model bahasa besar (LLM), memahami metrik ini membantu anda memperhalus workflow dan meningkatkan kebolehpercayaan terjemahan secara keseluruhan.

---

1. Penilaian pakar manusia

Penilaian manusia dianggap sebagai piawaian emas untuk menilai output terjemahan mesin. Ahli bahasa yang berpengalaman membandingkan terjemahan sistem dengan teks rujukan atau set kriteria yang ditetapkan, seperti:

• Kecukupan: adakah terjemahan meliputi keseluruhan makna teks sumber?
• Kelancaran: adakah teks sasaran betul dari segi tatabahasa dan berbunyi semula jadi?
• Konteks: adakah rujukan halus atau nuansa budaya disampaikan dengan tepat?

Walaupun pemarkahan manusia memberikan pandangan yang lebih mendalam, proses ini boleh menjadi memakan masa dan sebahagiannya subjektif. Institusi sering mengambil purata skor daripada beberapa pakar untuk mengurangkan bias, terutamanya apabila membandingkan penyelesaian MT yang berbeza. Walau bagaimanapun, kekangan kos dan kelajuan menjadikan semakan manusia berskala besar sukar dilaksanakan.

HTER (Human Translation Error Rate)

Salah satu metrik manual yang digunakan secara meluas ialah HTER, yang mengukur berapa banyak suntingan diperlukan untuk membetulkan output MT sehingga mencapai penanda aras kualiti manusia. Penyunting menjejaki penggantian, pemadaman dan sisipan, dan jumlah suntingan ini menunjukkan sejauh mana output mesin menyimpang daripada terjemahan yang boleh diterima. Semakin rendah HTER, semakin baik kualitinya.

---

2. Metrik penilaian automatik

Apabila bekerja dengan jumlah teks yang besar, bergantung hanya pada penilai manusia adalah tidak praktikal. Metrik automatik membantu anda membandingkan prestasi sistem dengan pantas dan pada skala besar:

• BLEU (Bilingual Evaluation Understudy): memfokuskan pada pertindihan n-gram antara output MT dan rujukan. Skor BLEU yang lebih tinggi biasanya menunjukkan padanan yang lebih hampir.
• METEOR: mengambil kira ketepatan (berapa peratus perkataan terjemahan mesin yang sepadan dengan rujukan) dan recall (berapa banyak perkataan rujukan yang muncul dalam MT), serta sinonim dan parafrasa.
• TER (Translation Edit Rate): serupa dengan HTER, tetapi diukur secara automatik dengan mengira berapa banyak suntingan diperlukan untuk menukar output MT menjadi rujukan.

Setiap metrik memperlihatkan aspek berbeza bagi kualiti terjemahan. Namun, tiada satu pun metrik automatik yang sempurna secara bersendirian. Ia sering sukar menangkap konteks yang lebih mendalam atau nuansa bahasa yang halus, jadi amalan terbaik biasanya melibatkan gabungan beberapa metrik.

---

3. Model Quality Assurance (QA) dan Quality Estimation (QE)

Model QA

Pendekatan jaminan kualiti menggunakan pembelajaran mesin untuk mengesan kemungkinan ralat terjemahan sebelum atau semasa penjanaan berlaku. Model QA ini boleh menyerlahkan segmen yang berkemungkinan mempunyai kesilapan, sekali gus membantu post-editor menumpukan usaha mereka dengan lebih cekap.

Quality Estimation (QE)

QE meramalkan kualiti ayat atau segmen individu dengan menganalisis teks sumber dan sasaran lalu memberikan skor. Walaupun ia tidak selengkap semakan manusia sepenuhnya, ia menawarkan petunjuk pantas tentang bahagian mana yang memerlukan pemeriksaan atau penyuntingan lebih mendalam.

---

4. Ketepatan dalam NMT berbanding terjemahan berasaskan LLM

Terjemahan mesin neural (NMT) telah berkembang dengan ketara, tetapi masih boleh menghadapi masalah konsistensi dalam dokumen panjang atau jargon khusus. Sementara itu, model bahasa besar (LLM) sering menghasilkan terjemahan yang lebih peka konteks, walaupun ia memerlukan sumber pengkomputeran yang lebih tinggi. Kedua-duanya boleh mengalami halusinasi atau tafsiran yang salah jika istilah khusus domain tidak dipelajari dengan baik, yang menegaskan mengapa penilaian yang kukuh masih penting.

---

5. Memperhalus workflow terjemahan dengan transkripsi

Bagi banyak organisasi, menggabungkan penilaian automatik dengan penyelesaian ubah kandungan anda boleh mewujudkan aliran teks yang mudah diakses dan berkualiti tinggi. Pengecaman pertuturan mula-mula menukar audio atau video kepada teks. Kemudian, sistem MT lanjutan menterjemahkannya. Akhir sekali, model QA atau QE membantu menentukan kebolehpercayaan keseluruhan hasil tersebut. Dengan itu, post-editor hanya menumpukan usaha pada bahagian yang benar-benar memerlukannya, lalu menjimatkan masa dan kos.

---

Kesimpulan

Mengukur ketepatan terjemahan mesin ialah proses berlapis yang menggabungkan penilaian manusia, pemarkahan automatik dan teknik QA/QE yang canggih. Tiada satu penyelesaian pun yang mampu menangkap semua kehalusan bahasa, tetapi dengan menggabungkan beberapa kaedah, anda boleh mengenal pasti sistem yang paling kukuh, mengoptimumkan post-editing dan menyampaikan terjemahan yang lebih tepat. Sama ada anda menggunakan NMT atau LLM terkini, pendekatan yang berpengetahuan terhadap penilaian MT membantu memastikan kandungan berbilang bahasa anda memenuhi keperluan komunikasi dan piawaian kualiti.