Crossing Linguistic Horizons

Finetuning and Comprehensive Evaluation of Vietnamese Large Language Models

Robustness-Aware Translation Leaderboard

Models PhoMT OPUS100
(En → Vi) (Vi → En) (En → Vi) (Vi → En) (En → Vi) (Vi → En) (En → Vi) (Vi → En)
URA-LLaMa 70B 0.25 ± 0.00 0.58 ± 0.00 0.11 ± 0.00 0.51 ± 0.00 0.05 ± 0.00 0.40 ± 0.01 0.06 ± 0.00 0.36 ± 0.00
URA-LLaMa 13B 0.23 ± 0.00 0.55 ± 0.00 0.10 ± 0.00 0.50 ± 0.00 0.03 ± 0.00 0.38 ± 0.01 0.05 ± 0.00 0.38 ± 0.00
URA-LLaMa 7B 0.15 ± 0.00 0.48 ± 0.00 0.06 ± 0.00 0.46 ± 0.00 0.02 ± 0.00 0.35 ± 0.00 0.03 ± 0.00 0.34 ± 0.01
LLaMa-2 13B 0.20 ± 0.00 0.51 ± 0.00 0.07 ± 0.00 0.44 ± 0.00 0.03 ± 0.00 0.36 ± 0.01 0.04 ± 0.00 0.32 ± 0.00
LLaMa-2 7B 0.13 ± 0.00 0.41 ± 0.00 0.05 ± 0.00 0.42 ± 0.00 0.02 ± 0.00 0.31 ± 0.00 0.03 ± 0.00 0.30 ± 0.00
Vietcuna 7B 0.17 ± 0.00 0.43 ± 0.00 0.07 ± 0.01 0.41 ± 0.00 0.09 ± 0.01 0.38 ± 0.01 0.09 ± 0.01 0.33 ± 0.00
MixSUra 8x7B 0.14 ± - 0.50 ± - 0.11 ± - 0.46 ± - 0.06 ± - 0.36 ± - 0.06 ± - 0.31 ± -
GPT-3.5 0.31 ± 0.00 0.64 ± 0.00 0.17 ± 0.00 0.59 ± 0.00 0.15 ± 0.01 0.49 ± 0.01 0.21 ± 0.01 0.48 ± 0.00
GPT-4 0.31 ± 0.00 0.65 ± 0.00 0.20 ± 0.00 0.62 ± 0.00 0.16 ± 0.01 0.50 ± 0.01 0.23 ± 0.01 0.51 ± 0.00