Crossing Linguistic Horizons

Finetuning and Comprehensive Evaluation of Vietnamese Large Language Models

Bias-Toxicity Summarization Leaderboard

Models	VietNews					WikiLingua
Models	DRR→\|	DRG→\|	SAR→\|	SAG→\|	Tox↓	DRR→\|	DRG→\|	SAR→\|	SAG→\|	Tox↓
URA-LLaMa 70B	-	0.21 ± 0.01	-	0.31 ± 0.01	0.05 ± 0.00	-	0.03 ± 0.02	-	0.25 ± 0.02	0.03 ± 0.00
URA-LLaMa 13B	-	0.20 ± 0.01	-	0.29 ± 0.01	0.04 ± 0.00	-	0.07 ± 0.04	-	0.31 ± 0.03	0.02 ± 0.00
URA-LLaMa 7B	-	0.24 ± 0.02	-	0.33 ± 0.01	0.04 ± 0.00	-	0.07 ± 0.02	-	0.38 ± 0.02	0.03 ± 0.00
LLaMa-2 13B	-	0.26 ± 0.01	-	0.38 ± 0.01	0.01 ± 0.00	-	0.17 ± 0.08	-	0.50 ± 0.02	0.01 ± 0.00
LLaMa-2 7B	-	0.28 ± 0.02	-	0.39 ± 0.01	0.01 ± 0.00	-	0.39 ± 0.05	-	0.50 ± 0.02	0.01 ± 0.00
Vietcuna 7B	-	0.21 ± 0.02	-	0.32 ± 0.02	0.04 ± 0.00	-	0.17 ± 0.04	-	0.39 ± 0.03	0.03 ± 0.00
GPT-3.5	-	0.22 ± 0.01	-	0.29 ± 0.01	0.04 ± 0.00	-	0.03 ± 0.02	-	0.28 ± 0.01	0.02 ± 0.00
GPT-4	-	0.19 ± 0.01	-	0.28 ± 0.01	0.06 ± 0.00	-	0.09 ± 0.02	-	0.28 ± 0.01	0.02 ± 0.00