full_droperandClaude Opus 5 0411edd826 Дані для ru-detector-v2: фільтри Блума 36 кириличних мов + таблиці сигналів ...

Фільтри Блума (12 бітів на слово) на 8.62 млн словоформ, приписаних мовам
за відносною частотою в корпусах, плюс транслітерований шар для 11 мов.
signals.json: характерні літери, закінчення й триграми, обчислені з тих самих корпусів.

Джерела: ВЕСУМ (brown-uk/dict_uk), GrammarDB (Belarus/GrammarDB),
корпуси Leipzig Wortschatz, дампи Вікіпедії, FrequencyWords (OpenSubtitles).

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

2026-09-19 12:31:14 +03:00

60 KiB

Raw Permalink History

View Raw