Дані для ru-detector-v2: фільтри Блума 36 кириличних мов + таблиці сигналів
Фільтри Блума (12 бітів на слово) на 8.62 млн словоформ, приписаних мовам за відносною частотою в корпусах, плюс транслітерований шар для 11 мов. signals.json: характерні літери, закінчення й триграми, обчислені з тих самих корпусів. Джерела: ВЕСУМ (brown-uk/dict_uk), GrammarDB (Belarus/GrammarDB), корпуси Leipzig Wortschatz, дампи Вікіпедії, FrequencyWords (OpenSubtitles). Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,7 @@
|
||||
// Пакет лише з даними: віддає шлях до каталогу, решту робить сама функція.
|
||||
import { fileURLToPath } from 'node:url';
|
||||
import { dirname, join } from 'node:path';
|
||||
|
||||
export const ROOT = dirname(fileURLToPath(import.meta.url));
|
||||
export const FILTERS_DIR = join(ROOT, 'filters');
|
||||
export const SIGNALS_PATH = join(ROOT, 'signals.json');
|
||||
Reference in New Issue
Block a user