Evaluating MT Systems
בשחוממ םוגרת תוכרעמ לש הניחבו הכרעה
?ונרובע הבוט בשחוממ םוגרת תכרעמ םא עדנ דציכ
קתע ימוכס םיעיקשמה םילודג םינוגרא דחוימב תניינעמ וז הלאש
.םוגרת תוכרעמב ילאיצנטופ שמתשמ לכ הקיסעמ םצעב ךא ,הלאכ תוכרעמב
םיבר םישמתשמ - חותפ דוק תונכות לש תונורתיב רכזיהל יאדכ בוש
...תוירחסמ תורבח לש הריגמה תודוס תמועל ןתוא םינחוב
,בשחוממה םוגרתה םוחתב םיבר םירפסו םירמאמ םסרפש ימו ילגנא רקוח ,סניק'צה ןו'ג
תוינפה םג ומכ ,םוגרת תונכות תכרעה לש םינוש םיגוס אבה ךמסמב רקוס
:הז אשונב היפרגוילביבל
Evaluation of Machine Translation and Translation Tools
:םוגרת תכרעמ תניחבב ןובשחב תחקל גוהנש םילוקישה הלא
םיכמסמה גוסו ןוגראה גוס
,םישדח םילכ תעמטה רשפאמ ינוגראה הנבמה םאה .םיכרצה תא חתנל שי תישאר
?בשחוממ םוגרתל ןכומ רבודמ וב טסקטה םאה
(טסקטה תנכה יבגל דרפנ ףד ואר ,הז ןינעב)
(טסקט תנכה יבגל תוצע דועו)
ביציו הסונמ קפס
רחבמ םעו ,תילכלכ תוביצי םע ,הסונמו קיתו קפס רוחבל הצרנ
,תוטבלתה ןבומכ וז .'וכו םיילקיסקל םינולימ ומכ ,בחר םילכ
.תוסונמ אלו תוינרדומ תוכרעמ ונל םיאיבמה םיפא-טראטס הברה לש םינמזב
תוריהמ :םוגרתה עונמ יעוציב
שחרתהל ךילהתה לוכי םיתיעל ,םוגרתה עונמ לש תוריהמה ונל הנשמ דימת אל
ונתוא תניינעמ םירקמ ינשב .שונא תוברעתה שרוד וניא םא קר לבא ,תובר תועש ךשמב
תלבקל ךסמה לומ תועש תוכחל לכוי אלש ירה ,םדא תוברעתה הורד םא .תוריהמה
.ידמ תיטיא תכרעמ לבקל לכונ אל ,ןייל-ןוא םוגרתב ,ןכ ומכ .תפסונ הייפצו ,ןנוקית ,תואצות
תוכיא :םוגרתה עונמ יעוציב
ןהב םוגרת תויעבב לקתינ דימת טעמכש םיעדוי ונאש תורמל .יזכרמ ביכרמ הניה תוכיאה
.םדא חוכ - םילודג םימוכסב תדדמנש וז איה תוברעתהה תדימש ירה ,ברעתהל ךרטצנ
?ללכבו ?ןוגראה לש םייפיצפס םיאשונב דואמ תובוט תואצות תנתונ תכרעמה םאה
(םוגרתה תואצות רופיש יבגל דרפנ ףד ואר ,הז ןינעב)
,שומיש ישדוח רפסמ רחאל תכרעמ לכב טעמכ רפתשת ,תינושארה םוגרתה תוכיא :הרעה
היעטו יוסינמ דמלת תכרעמה םגו ,ןוגראה לש םינולימ הנבנו ןכדענ הדובע ידכ ךותש ינפמ
.ןוגראה לש הדובעה בחרמ תא
ןוויכמ ,םינוש םיפיעס המכל הכרעהה תא קרפל ךרטצנ ,םוגרתה תוכיא יבגל
טסקטנוק לע ןעשנש הזכ םימעפלו ,ילולימ םוגרת םימעפל תויהל לוכי בוט םוגרתש
.טסקטה גוסב יולת .'וכו ,ילנויצומא ,יתוברת
:קודבנ םתוא םיאשונה הלא
Intelligibility
Accuracy
Error Analysis
The Test Suite
Intelligibility
Accuracy
.הכופה תויהל הלוכי איה ,תועמשמ שי רשאכ םג
.תועמשמב קוידה םג אלא ,תיריבחת הניחבמ ריבס טלפ קיפסמ אל
.לבקתהש דוקינה כ"הס תא חתנלו ,דוקינ תתל ץלמומ
(תואחסונ תעמטה)
.םוגרתל השק - רישי רוביד
Error Analysis
תואיגש חותינ
תוחלצה קר אלו תואיגש שפחל ףידע
.(תונכות תקידבב השענש המל המודב)
.לבקתהש דוקינה כ"הס תא חתנלו ,האיגשה תרמוח יפל דוקינ תתל ץלמומ
.ןתוא ןקתל ךירצש ימ לש ןיעל טלובו אירק טמרופב ,תואיגשה לכ תא לבקל הצרנ
...ןהילע טלתשהל חילצנ אל ןכש ,תואיגש ידמ רתוי הצרנ אל ,תאז תורמל
- תוירוגטקל קלחל
.הלילש לשמל
...בוט אל - ןאכ לשכית הנכותה םא
!ההובג הרמוח
German ein
A וא 1 םאה תעדל ךירצ
...ןקתיו תועטה תא רהמ הלגי םגרתמ
.ארונ תוחפ
Test Suite
.םייתייעב הקידב יטפשמ תכרעב אלא ירקמ סופרוקב יד אל תיתועמשמ הקידבל
(םימגתפ ,םייוטיב ,םיילדומ ,םימוידיא)
.הנוכמה םוגרתל שונא םוגרת לש האוושה
.םייתייעב םיטסקט לע הקידב רמולכ ,הנכותה לש הלקתה
:לשמל ומכ
mom doesn't like my shopping habits
םינוקיסקל לע תססובמ הנכות
- טושפ טפשמ :חותינ
הינק ילגרה
תוינק םישועש םילגרה אלו
- םיילדומ םיטסקט
יוטיב
to kick the bucket
the police is looking for evidence
to look for
ףיקע אשומ/רישי אשומ
םינבלה םיבהוא םירוחשה תאו םיקוריה םיבהוא םיבוהצה תא
:םגרתת ,תירבעב "תא" הניבמ הניאשו ,טושפ קוריפ עצבתש הנכות
and the blacks like the white
(אושנה תא תנמסמ "תא" הלימה תירבעב ,אושנהו אשונה ךופיה םע טפשמה תועמשמ הנתשת תילגנאב)
|