full_droperandClaude Opus 5
0411edd826
Фільтри Блума (12 бітів на слово) на 8.62 млн словоформ, приписаних мовам за відносною частотою в корпусах, плюс транслітерований шар для 11 мов. signals.json: характерні літери, закінчення й триграми, обчислені з тих самих корпусів. Джерела: ВЕСУМ (brown-uk/dict_uk), GrammarDB (Belarus/GrammarDB), корпуси Leipzig Wortschatz, дампи Вікіпедії, FrequencyWords (OpenSubtitles). Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
359 lines
4.4 KiB
JSON
359 lines
4.4 KiB
JSON
{
|
|
"bits": 12,
|
|
"langs": {
|
|
"abk": {
|
|
"cyr": {
|
|
"n": 26565,
|
|
"m": 318780,
|
|
"k": 8,
|
|
"bytes": 39848
|
|
}
|
|
},
|
|
"ady": {
|
|
"cyr": {
|
|
"n": 7105,
|
|
"m": 85260,
|
|
"k": 8,
|
|
"bytes": 10658
|
|
}
|
|
},
|
|
"alt": {
|
|
"cyr": {
|
|
"n": 9864,
|
|
"m": 118368,
|
|
"k": 8,
|
|
"bytes": 14796
|
|
}
|
|
},
|
|
"ava": {
|
|
"cyr": {
|
|
"n": 29506,
|
|
"m": 354072,
|
|
"k": 8,
|
|
"bytes": 44259
|
|
}
|
|
},
|
|
"bak": {
|
|
"cyr": {
|
|
"n": 191137,
|
|
"m": 2293644,
|
|
"k": 8,
|
|
"bytes": 286706
|
|
}
|
|
},
|
|
"bel": {
|
|
"cyr": {
|
|
"n": 2265620,
|
|
"m": 27187440,
|
|
"k": 8,
|
|
"bytes": 3398430
|
|
},
|
|
"lat": {
|
|
"n": 2644291,
|
|
"m": 31731492,
|
|
"k": 8,
|
|
"bytes": 3966437
|
|
}
|
|
},
|
|
"bua": {
|
|
"cyr": {
|
|
"n": 19993,
|
|
"m": 239916,
|
|
"k": 8,
|
|
"bytes": 29990
|
|
}
|
|
},
|
|
"bul": {
|
|
"cyr": {
|
|
"n": 408567,
|
|
"m": 4902804,
|
|
"k": 8,
|
|
"bytes": 612851
|
|
},
|
|
"lat": {
|
|
"n": 466132,
|
|
"m": 5593584,
|
|
"k": 8,
|
|
"bytes": 699198
|
|
}
|
|
},
|
|
"che": {
|
|
"cyr": {
|
|
"n": 305980,
|
|
"m": 3671760,
|
|
"k": 8,
|
|
"bytes": 458970
|
|
}
|
|
},
|
|
"chv": {
|
|
"cyr": {
|
|
"n": 82848,
|
|
"m": 994176,
|
|
"k": 8,
|
|
"bytes": 124272
|
|
}
|
|
},
|
|
"inh": {
|
|
"cyr": {
|
|
"n": 16129,
|
|
"m": 193548,
|
|
"k": 8,
|
|
"bytes": 24194
|
|
}
|
|
},
|
|
"kaz": {
|
|
"cyr": {
|
|
"n": 123774,
|
|
"m": 1485288,
|
|
"k": 8,
|
|
"bytes": 185661
|
|
},
|
|
"lat": {
|
|
"n": 133696,
|
|
"m": 1604352,
|
|
"k": 8,
|
|
"bytes": 200544
|
|
}
|
|
},
|
|
"kbd": {
|
|
"cyr": {
|
|
"n": 15382,
|
|
"m": 184584,
|
|
"k": 8,
|
|
"bytes": 23073
|
|
}
|
|
},
|
|
"kir": {
|
|
"cyr": {
|
|
"n": 119449,
|
|
"m": 1433388,
|
|
"k": 8,
|
|
"bytes": 179174
|
|
},
|
|
"lat": {
|
|
"n": 154651,
|
|
"m": 1855812,
|
|
"k": 8,
|
|
"bytes": 231977
|
|
}
|
|
},
|
|
"koi": {
|
|
"cyr": {
|
|
"n": 7698,
|
|
"m": 92376,
|
|
"k": 8,
|
|
"bytes": 11547
|
|
}
|
|
},
|
|
"kpv": {
|
|
"cyr": {
|
|
"n": 16236,
|
|
"m": 194832,
|
|
"k": 8,
|
|
"bytes": 24354
|
|
}
|
|
},
|
|
"krc": {
|
|
"cyr": {
|
|
"n": 21656,
|
|
"m": 259872,
|
|
"k": 8,
|
|
"bytes": 32484
|
|
}
|
|
},
|
|
"lbe": {
|
|
"cyr": {
|
|
"n": 2203,
|
|
"m": 26436,
|
|
"k": 8,
|
|
"bytes": 3305
|
|
}
|
|
},
|
|
"lez": {
|
|
"cyr": {
|
|
"n": 22003,
|
|
"m": 264036,
|
|
"k": 8,
|
|
"bytes": 33005
|
|
}
|
|
},
|
|
"mdf": {
|
|
"cyr": {
|
|
"n": 10744,
|
|
"m": 128928,
|
|
"k": 8,
|
|
"bytes": 16116
|
|
}
|
|
},
|
|
"mhr": {
|
|
"cyr": {
|
|
"n": 23130,
|
|
"m": 277560,
|
|
"k": 8,
|
|
"bytes": 34695
|
|
}
|
|
},
|
|
"mkd": {
|
|
"cyr": {
|
|
"n": 103095,
|
|
"m": 1237140,
|
|
"k": 8,
|
|
"bytes": 154643
|
|
},
|
|
"lat": {
|
|
"n": 114064,
|
|
"m": 1368768,
|
|
"k": 8,
|
|
"bytes": 171096
|
|
}
|
|
},
|
|
"mon": {
|
|
"cyr": {
|
|
"n": 40708,
|
|
"m": 488496,
|
|
"k": 8,
|
|
"bytes": 61062
|
|
},
|
|
"lat": {
|
|
"n": 65248,
|
|
"m": 782976,
|
|
"k": 8,
|
|
"bytes": 97872
|
|
}
|
|
},
|
|
"mrj": {
|
|
"cyr": {
|
|
"n": 9065,
|
|
"m": 108780,
|
|
"k": 8,
|
|
"bytes": 13598
|
|
}
|
|
},
|
|
"myv": {
|
|
"cyr": {
|
|
"n": 31301,
|
|
"m": 375612,
|
|
"k": 8,
|
|
"bytes": 46952
|
|
}
|
|
},
|
|
"oss": {
|
|
"cyr": {
|
|
"n": 30896,
|
|
"m": 370752,
|
|
"k": 8,
|
|
"bytes": 46344
|
|
}
|
|
},
|
|
"rue": {
|
|
"cyr": {
|
|
"n": 49221,
|
|
"m": 590652,
|
|
"k": 8,
|
|
"bytes": 73832
|
|
}
|
|
},
|
|
"rus": {
|
|
"cyr": {
|
|
"n": 473066,
|
|
"m": 5676792,
|
|
"k": 8,
|
|
"bytes": 709599
|
|
},
|
|
"lat": {
|
|
"n": 546997,
|
|
"m": 6563964,
|
|
"k": 8,
|
|
"bytes": 820496
|
|
}
|
|
},
|
|
"sah": {
|
|
"cyr": {
|
|
"n": 85649,
|
|
"m": 1027788,
|
|
"k": 8,
|
|
"bytes": 128474
|
|
}
|
|
},
|
|
"srp": {
|
|
"cyr": {
|
|
"n": 77494,
|
|
"m": 929928,
|
|
"k": 8,
|
|
"bytes": 116241
|
|
},
|
|
"lat": {
|
|
"n": 90324,
|
|
"m": 1083888,
|
|
"k": 8,
|
|
"bytes": 135486
|
|
}
|
|
},
|
|
"tat": {
|
|
"cyr": {
|
|
"n": 72441,
|
|
"m": 869292,
|
|
"k": 8,
|
|
"bytes": 108662
|
|
},
|
|
"lat": {
|
|
"n": 93773,
|
|
"m": 1125276,
|
|
"k": 8,
|
|
"bytes": 140660
|
|
}
|
|
},
|
|
"tgk": {
|
|
"cyr": {
|
|
"n": 41855,
|
|
"m": 502260,
|
|
"k": 8,
|
|
"bytes": 62783
|
|
},
|
|
"lat": {
|
|
"n": 43033,
|
|
"m": 516396,
|
|
"k": 8,
|
|
"bytes": 64550
|
|
}
|
|
},
|
|
"tyv": {
|
|
"cyr": {
|
|
"n": 28034,
|
|
"m": 336408,
|
|
"k": 8,
|
|
"bytes": 42051
|
|
}
|
|
},
|
|
"udm": {
|
|
"cyr": {
|
|
"n": 16112,
|
|
"m": 193344,
|
|
"k": 8,
|
|
"bytes": 24168
|
|
}
|
|
},
|
|
"ukr": {
|
|
"cyr": {
|
|
"n": 3836951,
|
|
"m": 46043412,
|
|
"k": 8,
|
|
"bytes": 5755427
|
|
},
|
|
"lat": {
|
|
"n": 4117777,
|
|
"m": 49413324,
|
|
"k": 8,
|
|
"bytes": 6176666
|
|
}
|
|
},
|
|
"xal": {
|
|
"cyr": {
|
|
"n": 2842,
|
|
"m": 34104,
|
|
"k": 8,
|
|
"bytes": 4263
|
|
}
|
|
}
|
|
}
|
|
} |