2 Commits
Author SHA1 Message Date
full_droperandClaude Opus 5 2ff3c9ae4a Додано translit.js: транслітерація має жити поруч із фільтрами
Скелети, якими побудовано латинський шар фільтрів, мусять точно збігатися
з тими, що обчислює функція на вхідних словах. Тримаємо їх в одному пакеті,
щоб вони не розʼїхалися.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-09-19 12:32:08 +03:00
full_droperandClaude Opus 5 0411edd826 Дані для ru-detector-v2: фільтри Блума 36 кириличних мов + таблиці сигналів
Фільтри Блума (12 бітів на слово) на 8.62 млн словоформ, приписаних мовам
за відносною частотою в корпусах, плюс транслітерований шар для 11 мов.
signals.json: характерні літери, закінчення й триграми, обчислені з тих самих корпусів.

Джерела: ВЕСУМ (brown-uk/dict_uk), GrammarDB (Belarus/GrammarDB),
корпуси Leipzig Wortschatz, дампи Вікіпедії, FrequencyWords (OpenSubtitles).

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-09-19 12:31:14 +03:00