diff --git a/README.md b/README.md index f3a2eee..be15e12 100644 --- a/README.md +++ b/README.md @@ -7,22 +7,24 @@ ## Рейтинг Результаты тестирования моделей: +- openai_gpt_oss_20b: 87% - google_gemini_2_0_flash_001: 86% - openai_o3_mini_high: 85% - moonshotai_kimi_k2: 83% - deepseek_deepseek_chat_v3_0324: 82% - google_gemini_2_5_flash_preview: 82% +- openai_gpt_oss_120b: 82% - deepseek_deepseek_chat_free: 78% - google_gemini_2_0_flash_lite_001: 78% - google_gemini_2_5_flash_lite_preview_06_17: 78% - google_gemma_3_27b_it: 77% - openai_gpt_4o_mini: 77% - deepseek_deepseek_chat: 76% -- google_gemini_flash_1_5: 75% - qwen_qwen_2_5_coder_32b_instruct: 75% - mistralai_codestral_2501: 75% -- z_ai_glm_4: 74% +- google_gemini_flash_1_5: 75% - inception_mercury_coder_small_beta: 74% +- z_ai_glm_4: 74% - google_gemma_3_12b_it: 71% - meta_llama_llama_3_1_70b_instruct: 69% - mistralai_mistral_small_3_1_24b_instruct: 67% diff --git a/config/models.yml b/config/models.yml index 509ef97..a9e3df0 100644 --- a/config/models.yml +++ b/config/models.yml @@ -158,6 +158,12 @@ openrouter: note: https://openrouter.ai/openai/gpt-oss-20b done: false + openai-gpt-oss-120b: + name: openai/gpt-oss-120b + provider: openrouter.ai + note: https://openrouter.ai/openai/gpt-oss-120b + done: false + # Ollama модели ollama: ollama_llama3_2: diff --git a/reports/human_eval_for_ruby_report_full.html b/reports/human_eval_for_ruby_report_full.html index 0c2badd..fb96858 100644 --- a/reports/human_eval_for_ruby_report_full.html +++ b/reports/human_eval_for_ruby_report_full.html @@ -64,7 +64,7 @@
Дата: 2025-08-09 18:04:26
+Дата: 2025-08-09 18:29:10
| moonshotai_kimi_k2 | 83% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| deepseek_deepseek_chat_v3_0324 | 82% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| google_gemini_2_5_flash_preview | 82% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| openai_gpt_oss_120b | 82% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| deepseek_deepseek_chat_free | 79% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| google_gemini_2_0_flash_lite_001 | 79% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| google_gemini_2_5_flash_lite_preview_06_17 | 78% | ollama_codellama_34b | ollama_llama3_2 | openai_gpt_4o_mini | +openai_gpt_oss_120b | openai_gpt_oss_20b | openai_o3_mini_high | qwen_qwen2_5_vl_3b_instruct_free | @@ -154,6 +156,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| t1 | ✗ | @@ -180,6 +183,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✗ | @@ -211,6 +215,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✗ | @@ -240,6 +245,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✗ | ✗ | @@ -269,6 +275,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✗ | @@ -302,6 +309,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -330,6 +338,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✗ | ✗ | @@ -361,6 +370,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -391,6 +401,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -419,6 +430,7 @@✗ | ✓ | ✓ | +✗ | ✓ | ✓ | ✗ | @@ -453,6 +465,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✗ | @@ -511,6 +525,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -542,6 +557,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -573,6 +589,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -602,6 +619,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -633,6 +651,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -663,6 +682,7 @@✗ | ✓ | ✗ | +✗ | ✓ | ✓ | ✓ | @@ -695,6 +715,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -725,6 +746,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -756,6 +778,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -783,6 +806,7 @@✗ | ✗ | ✓ | +✗ | ✓ | ✓ | ✗ | @@ -814,6 +838,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -844,6 +869,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✗ | ✗ | @@ -878,6 +904,7 @@✓ | ✓ | ✓ | +✓ |
| t120 | ✗ | @@ -904,6 +931,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -934,6 +962,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -967,6 +996,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||
| t123 | ✓ | @@ -991,6 +1021,7 @@✗ | ✗ | ✓ | +✗ | ✓ | ✗ | ✓ | @@ -1022,6 +1053,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -1053,6 +1085,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✗ | ✓ | ✗ | ✗ | +✗ | ✓ | ✓ | ✗ | @@ -1109,6 +1143,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -1142,6 +1177,7 @@✗ | ✗ | ✗ | +✗ | |||||||||||||||||||||||||||||||
| t129 | ✗ | @@ -1166,6 +1202,7 @@✗ | ✗ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -1197,6 +1234,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -1226,6 +1264,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -1255,6 +1294,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -1286,6 +1326,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✗ | ✗ | ✗ | ✓ | +✗ | ✓ | ✓ | ✓ | @@ -1347,6 +1389,7 @@✗ | ✗ | ✗ | +✗ | ||||||||||||||||||||||||
| t135 | ✗ | @@ -1372,6 +1415,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✓ | ✗ | @@ -1405,6 +1449,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t137 | ✗ | @@ -1434,6 +1479,7 @@✗ | ✗ | ✗ | +✗ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t138 | ✓ | @@ -1459,6 +1505,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -1492,6 +1539,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t14 | ✓ | @@ -1521,6 +1569,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t140 | ✓ | @@ -1546,6 +1595,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -1574,6 +1624,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✓ | ✗ | @@ -1608,6 +1659,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||
| t143 | ✓ | @@ -1637,6 +1689,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t144 | ✓ | @@ -1666,6 +1719,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t145 | ✓ | @@ -1692,6 +1746,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✗ | @@ -1719,6 +1774,7 @@✗ | ✗ | ✓ | +✗ | ✓ | ✓ | ✗ | @@ -1750,6 +1806,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✗ | @@ -1779,6 +1836,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -1812,6 +1870,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||
| t15 | ✓ | @@ -1841,6 +1900,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t150 | ✓ | @@ -1865,6 +1925,7 @@✓ | ✗ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -1899,6 +1960,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t152 | ✓ | @@ -1925,6 +1987,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -1952,6 +2015,7 @@✗ | ✗ | ✓ | +✗ | ✓ | ✓ | ✗ | @@ -1983,6 +2047,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -2012,6 +2077,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -2044,6 +2110,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||
| t157 | ✓ | @@ -2073,6 +2140,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t158 | ✗ | @@ -2099,6 +2167,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -2129,6 +2198,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✗ | ✓ | ✓ | ✓ | +✓ | ✗ | |||||||||||||||||||||||||||||||||||||||||||||||||||
| t160 | @@ -2186,6 +2257,7 @@✓ | ✗ | ✗ | +✗ | ✓ | ✓ | ✗ | @@ -2214,6 +2286,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -2248,6 +2321,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| t163 | ✓ | @@ -2274,6 +2348,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -2307,6 +2382,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t18 | ✓ | @@ -2336,6 +2412,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t19 | ✓ | @@ -2361,6 +2438,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -2395,6 +2473,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t20 | ✓ | @@ -2421,6 +2500,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -2454,6 +2534,7 @@✗ | ✗ | ✗ | +✗ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t22 | ✓ | @@ -2483,6 +2564,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t23 | ✓ | @@ -2512,6 +2594,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t24 | ✓ | @@ -2541,6 +2624,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t25 | ✓ | @@ -2565,6 +2649,7 @@✗ | ✗ | ✗ | +✓ | ✗ | ✓ | ✗ | @@ -2597,6 +2682,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -2626,6 +2712,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -2658,6 +2745,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||
| t29 | ✓ | @@ -2687,6 +2775,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t3 | ✓ | @@ -2716,6 +2805,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t30 | ✓ | @@ -2745,6 +2835,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t31 | ✓ | @@ -2774,6 +2865,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t32 | ✗ | @@ -2800,6 +2892,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -2829,6 +2922,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -2860,6 +2954,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ||||||||||||||||||||||||||||||||||||||||||||||||||
| t35 | @@ -2890,6 +2985,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t36 | ✓ | @@ -2916,6 +3012,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✗ | @@ -2946,6 +3043,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -2973,6 +3071,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✗ | ✗ | @@ -3004,6 +3103,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -3037,6 +3137,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||
| t40 | ✗ | @@ -3063,6 +3164,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -3095,6 +3197,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t42 | ✓ | @@ -3124,6 +3227,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t43 | ✓ | @@ -3150,6 +3254,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -3179,6 +3284,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -3213,6 +3319,7 @@✗ | ✗ | ✗ | +✗ | |||||||||||||||||||||||||||||||||||||||||||||||||||
| t46 | ✓ | @@ -3243,6 +3350,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t47 | ✗ | @@ -3269,6 +3377,7 @@✓ | ✗ | ✗ | +✗ | ✓ | ✓ | ✓ | @@ -3301,6 +3410,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t49 | ✓ | @@ -3325,6 +3435,7 @@✓ | ✗ | ✓ | +✗ | ✓ | ✓ | ✓ | @@ -3360,6 +3471,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t50 | ✓ | @@ -3386,6 +3498,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -3418,6 +3531,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t52 | ✓ | @@ -3447,6 +3561,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t53 | ✓ | @@ -3476,6 +3591,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t54 | ✓ | @@ -3505,6 +3621,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t55 | ✓ | @@ -3531,6 +3648,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -3562,6 +3680,7 @@✓ | ✓ | ✓ | +✓ | ✗ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t57 | @@ -3589,6 +3708,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -3618,6 +3738,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -3647,6 +3768,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -3674,6 +3796,7 @@✗ | ✗ | ✓ | +✗ | ✓ | ✓ | ✗ | @@ -3708,6 +3831,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||
| t61 | ✓ | @@ -3736,6 +3860,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t62 | @@ -3762,6 +3887,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✗ | @@ -3795,6 +3921,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t64 | ✓ | @@ -3821,6 +3948,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -3853,6 +3981,7 @@✗ | ✗ | ✗ | +✗ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t66 | ✓ | @@ -3882,6 +4011,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t67 | ✓ | @@ -3908,6 +4038,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -3937,6 +4068,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -3966,6 +4098,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -3998,6 +4131,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||
| t70 | ✗ | @@ -4024,6 +4158,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4053,6 +4188,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4082,6 +4218,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4114,6 +4251,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||
| t74 | ✓ | @@ -4143,6 +4281,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t75 | ✓ | @@ -4169,6 +4308,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4199,6 +4339,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✗ | @@ -4228,6 +4369,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4258,6 +4400,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -4290,6 +4433,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||
| t8 | ✓ | @@ -4319,6 +4463,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t80 | ✗ | @@ -4345,6 +4490,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -4373,6 +4519,7 @@✗ | ✗ | ✓ | +✓ | ✗ | ✗ | ✗ | @@ -4406,6 +4553,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ||||||||||||||||||||||||||||||||||||||||||||||||||
| t83 | @@ -4431,6 +4579,7 @@✗ | ✗ | ✗ | +✗ | ✓ | ✓ | ✗ | @@ -4462,6 +4611,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4491,6 +4641,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4524,6 +4675,7 @@✗ | ✗ | ✗ | +✗ | |||||||||||||||||||||||||||||||||||||||||||||
| t87 | ✓ | @@ -4550,6 +4702,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4579,6 +4732,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4608,6 +4762,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -4637,6 +4792,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4666,6 +4822,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4696,6 +4853,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -4728,6 +4886,7 @@✓ | ✓ | ✓ | +✓ | |||||||||||||||||||||||
| t93 | ✗ | @@ -4754,6 +4913,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -4786,6 +4946,7 @@✓ | ✓ | ✓ | +✓ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| t95 | ✓ | @@ -4812,6 +4973,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✗ | ✓ | @@ -4841,6 +5003,7 @@✓ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4868,6 +5031,7 @@✗ | ✓ | ✗ | +✗ | ✓ | ✓ | ✗ | @@ -4898,6 +5062,7 @@✗ | ✓ | ✓ | +✓ | ✗ | ✓ | ✓ | @@ -4931,5 +5096,6 @@✓ | ✓ | ✓ | +✓ |