Crossing Linguistic Horizons

Finetuning and Comprehensive Evaluation of Vietnamese Large Language Models

Few-Shot Information Retrieval Leaderboard

Models mMARCO mRobust04
M@10 M@10B N@10 N@10B M@10 M@10B N@10 N@10B
URA-LLaMa 70B 0.05 ± 0.00 0.11 ± 0.00 0.06 ± 0.00 0.14 ± 0.00 0.04±0.00 0.04±0.00 0.03±0.00 0.04±0.00
URA-LLaMa 13B 0.04 ± 0.00 0.10 ± 0.00 0.06 ± 0.00 0.14 ± 0.00 0.03±0.00 0.05±0.00 0.04±0.00 0.04±0.00
URA-LLaMa 7B 0.04 ± 0.00 0.11 ± 0.00 0.06 ± 0.00 0.16 ± 0.00 0.03 ± 0.00 0.03 ± 0.00 0.02 ± 0.00 0.02 ± 0.00
LLaMa-2 13B 0.07 ± 0.00 0.15 ± 0.00 0.09 ± 0.00 0.21 ± 0.00 0.05±0.00 0.04±0.00 0.04±0.00 0.04±0.00
LLaMa-2 7B 0.05 ± 0.00 0.11 ± 0.00 0.07 ± 0.00 0.16 ± 0.00 0.02±0.00 0.03±0.00 0.03±0.00 0.02±0.00
Vietcuna 7B 0.00 ± 0.00 0.00 ± 0.00 0.00 ± 0.00 0.00 ± 0.00 0.00±0.00 0.00±0.00 0.00±0.00 0.00±0.00
MixSUra 8x7B 0.01 ± - 0.07 ± - 0.04 ± - 0.11 ± - 0.04±- 0.04±- 0.02±- 0.02±-
GPT-3.5 - - - - - - - -
GPT-4 - - - - - - - -