Дані для ru-detector-v2: фільтри Блума 36 кириличних мов + таблиці сигналів

Browse Source

Фільтри Блума (12 бітів на слово) на 8.62 млн словоформ, приписаних мовам
за відносною частотою в корпусах, плюс транслітерований шар для 11 мов.
signals.json: характерні літери, закінчення й триграми, обчислені з тих самих корпусів.

Джерела: ВЕСУМ (brown-uk/dict_uk), GrammarDB (Belarus/GrammarDB),
корпуси Leipzig Wortschatz, дампи Вікіпедії, FrequencyWords (OpenSubtitles).

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

...

This commit is contained in:

full_droper

2026-09-19 12:31:14 +03:00

co-authored by Claude Opus 5

commit 0411edd826

51 changed files with 376 additions and 0 deletions

Show all changes Ignore whitespace when comparing lines Ignore changes in amount of whitespace Ignore changes in whitespace at EOL

Download Patch File Download Diff File Expand all files Collapse all files

signals.json

+1

File diff suppressed because one or more lines are too long