full_droper/cyrillic-lang-data
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Дані для ru-detector-v2: фільтри Блума 36 кириличних мов + таблиці сигналів

Browse Source 
Фільтри Блума (12 бітів на слово) на 8.62 млн словоформ, приписаних мовам
за відносною частотою в корпусах, плюс транслітерований шар для 11 мов.
signals.json: характерні літери, закінчення й триграми, обчислені з тих самих корпусів.

Джерела: ВЕСУМ (brown-uk/dict_uk), GrammarDB (Belarus/GrammarDB),
корпуси Leipzig Wortschatz, дампи Вікіпедії, FrequencyWords (OpenSubtitles).

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
full_droper
2026-09-19 12:31:14 +03:00
co-authored by Claude Opus 5
commit 0411edd826
51 changed files with 376 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
package.json
+9
View File
@@ -0,0 +1,9 @@
{
"name": "cyrillic-lang-data",
"version": "1.0.0",
"description": "Фільтри Блума на 8.6 млн словоформ 36 кириличних мов + таблиці літер, закінчень і триграм. Дані для ru-detector-v2.",
"type": "module",
"main": "index.js",
"license": "CC-BY-SA-4.0",
"files": ["index.js", "signals.json", "filters"]
}