Дані для ru-detector-v2: фільтри Блума 36 кириличних мов + таблиці сигналів

Фільтри Блума (12 бітів на слово) на 8.62 млн словоформ, приписаних мовам
за відносною частотою в корпусах, плюс транслітерований шар для 11 мов.
signals.json: характерні літери, закінчення й триграми, обчислені з тих самих корпусів.

Джерела: ВЕСУМ (brown-uk/dict_uk), GrammarDB (Belarus/GrammarDB),
корпуси Leipzig Wortschatz, дампи Вікіпедії, FrequencyWords (OpenSubtitles).

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
full_droper
2026-09-19 12:31:14 +03:00
co-authored by Claude Opus 5
commit 0411edd826
51 changed files with 376 additions and 0 deletions
+7
View File
@@ -0,0 +1,7 @@
// Пакет лише з даними: віддає шлях до каталогу, решту робить сама функція.
import { fileURLToPath } from 'node:url';
import { dirname, join } from 'node:path';
export const ROOT = dirname(fileURLToPath(import.meta.url));
export const FILTERS_DIR = join(ROOT, 'filters');
export const SIGNALS_PATH = join(ROOT, 'signals.json');