Předmět Statistický strojový překlad (NPFL087)

Na serveru studentino.cz naleznete nejrůznější studijní materiály: zápisky z přednášek nebo cvičení, vzorové testy, seminární práce, domácí úkoly a další z předmětu NPFL087 - Statistický strojový překlad, Matematicko-fyzikální fakulta, Univerzita Karlova v Praze (UK).

Materiál	Typ	Datum	Počet stažení

Cíl

Seznámit studenty s metodami statického strojového překladu i se současnými volně šiřitelnými implementacemi systémů strojového překladu. V praktických úlohách se studenti dle svého uvážení dozvědí více o alternativních přístupech ke strojovému překladu, vyzkoušejí si, jak obtížné je zvýšit kvalitu frázového překladu nasazením vlastních nápadů, či samostatnou vědeckou prací přispějí k součaným poznatkům na poli strojového překladu.

Sylabus

1. Metriky kvality strojového překladu (lidské i automatické). Empirické intervaly spolehlivosti a důvěryhodnost metrik obecně.2. Překlad jako problém z teorie informace. Překladový a jazykový model, obecný log-lineární model. Stavový prostor částečných hypotéy a jeho prohledávání ("dekódování"). Frázový překlad, volně ąiřitelný překladový systém Moses.3. Paralelní texty, jejich zarovnání (po větách a slovech; IBM modely 1 aľ 3) a extrakce "překladových slovníků" a pravidel z paralelních dat. Volně ąiřitelné nástroje pro přípravu a zarovnání paralelních textů (hunalign, GIZA++).4. Morfologické předzpracování, frázový překlad o více faktorech. Empirické výsledky a teoretické problémy (přílią hrubé prořezávání).5. Optimalizace parametrů log-lineárního modelu (Minimum Error Rate Training, MERT).6. Složková syntax ve strojovém překladu, překlad založený na parsingu, obecný hypergrafový dekodér. Volně šiřitelné nástroje pro syntakticky informovaný strojový překlad (Hiero, Joshua, SAMT, Stat-XFER).7. Závislostí syntax ve strojovém překladu (Quirk a Menezes, Bojar).8. Hloubková syntax ve strojovém překladu (TectoMT). Prostředí TectoMT.9. Prezentace vlastních příspěvků.Vlastní příspěvky a klasifikace:Jednotlivci či dvou až tříčlenné skupinky studentů si v rané fázi semestru zvolí téma příspěvku, provedou experimenty, implementují vlastní modifikaci některého z existujících systémů překladu či zprovozní prototyp alternativní metody a poreferují o výsledcích.Cvičení k předmětu je určeno jak pro vedené procvičovaní probraných témat, tak pro konzultace k vlastním příspěvkům studentů.Závěrečné hodnocení studentů se kromě ověření znalosti probrané látky opírá zejména o vlastní příspěvek studenta: jeho odborný popis a prezentaci.Náměty témat studentských příspěvků: experimentální košatost stavového prostoru: názorné vyčíslení empirické složitosti rozhodnutí, která musí překladový systém provádět vliv množství a typu trénovacích dat na kvalitu překladu česko-evropský překlad: překlad mezi češtinou a všemi evropskými jazyky vlastní nápady na předzpracování vstupu či dodatečné rysy pro lepší kvalitu překladu normalizace trénovacích dat pro lepší kvalitu překladu limity (meze) frázového (či jiného) modelu: jaký podíl referenčních překladů testovacích dat systém nemá šanci vyrobit při daných trénovacích datech? A jaká lingvistická zobecnění by potřeboval, aby daná trénovací data stačila? analýza ručních korektur výstupů strojového překladu, jak byly sebrány v rámci soutěľe WMT09 (http://www.statmt.org/wmt09/) implementační, namátkou: MERT, který odstraní málo informativní rysy modelu jednoduchý webový portál pro sběr a validaci zdrojů paralelních textů silou komunity referativní, namátkou: diskriminativní metody pro strojový překlad SEARN: Hal Daumé III. Practical Structured Learning Techniques for Natural Language Processing. PhD Thesis, 2006 (USC). MBMT: Antal van den Bosch, Peter Berck. Memory-Based Machine Translation and Language Modeling. PBML 91. 2009.

Literatura

Philipp Koehn:Statistical Machine Translation. Cambridge University Press. ISBN: 978-0521874151, 2009.Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondrej Bojar, Alexandra Constantin, Evan Herbst:Moses: Open Source Toolkit for Statistical Machine Translation, Annual Meeting of the Association for Computational Linguistics (ACL), demonstration session, Prague, Czech Republic, June 2007.http://www.statmt.org/moses/Philipp Koehn, Marcello Federico, Wade Shen, Nicola Bertoldi, Ondřej Bojar, Chris Callison-Burch, Brooke Cowan, Chris Dyer, Hieu Hoang, Richard Zens, Alexandra Constantin, Christine Moran, and Evan Herbst:Open Source Toolkit for Statistical Machine Translation: Factored Translation Models and Confusion Network Decoding. Technical report, Johns Hopkins University, Center for Speech and Language Processing, 2006.http://ufal.mff.cuni.cz/~bojar/publications/2006-FILE-koehn_etal_jhuws_2006-2006-jhu-report.pdfOndřej Bojar:Exploiting Linguistic Data in Machine Translation. PhD thesis, ÚFAL, MFF UK, Prague, Czech Republic, October 2008.http://ufal.mff.cuni.cz/~bojar/publications/2008-FILE-bojar_phd-FINAL.pdfBonnie J. Dorr, Pamela Jordan, John W. Benoit:A Survey of Current Paradigms in Machine Translation, 1998. Philipp Koehn, Franz Josef Och and Daniel Marcu:Statistical Phrase-Based Translation. 2003.http://people.csail.mit.edu/people/koehn/publications/phrase2003.pdfZhifei Li, Chris Callison-Burch, Sanjeev Khudanpur, Wren Thornton:Decoding in Joshua: Open Source, Parsing-Based Machine Translation. PBML 91, 2009.http://ufal.mff.cuni.cz/pbml/91/art-li.pdfVamshi Ambati, Alon Lavier:Improving Syntax-Driven Translation Models by Re-structuring Divergent and Nonisomorphic Parse Tree Structures. In Proceedings of AMTA 2008, 235-244.http://www.mt-archive.info/AMTA-2008-Ambati.pdfA daląí vybrané články z konferencí (ACL, COLING ap.), technické zprávyÚFAL/CKL.

Garant

RNDr. Ondřej Bojar, Ph.D.