|
Ланде Д.В.,
|
доктор технічних наук
|
||
|
|||
|
Постановка проблеми. Ключові слова для пошуку в тексті, опорні слова для автоматичного екстрагування значущих фрагментів текстів або формування автоматичних рефератів, вибираються з урахуванням такої властивості слів, як “розпізнавальна” або дискримінантна сила. Адже якщо слово відносно рівномірно розподілено по тексту документа, то воно навряд чи може використовуватися для ефективного змістовного пошуку або служити основою вибору якогось значущого фрагмента, який може розглядатися як деяка надфразова єдність [1]. При аналізі текстів з правової тематики, зокрема, при вирішенні завдання формування електронної енциклопедії на основі аналізу всього масиву законодавчих актів України, оцінка дискримінантної сили окремих слів має найважливіше значення.
Одна з перших технологій оцінки якості ключових слів була “матеріалізована” Солтоном в векторно-просторовій моделі пошуку [2], в якій саме для обліку дискримінантної сили слів було введено поняття інверсної частоти появи слова в окремих документах масиву...
|
|||
