Obtención de datos empíricos para la nueva medida de similitud QDSM usando algoritmos de clustering en recuperación de la información

Abstract

La recuperación de la información (RI) obtiene material (usualmente documentos) de una naturaleza no estructurada (frecuentemente textos) la cual satisface la necesidad de información de los usuarios en grandes colecciones (normalmente almacenados en los computadores). Un sistema de recuperación de la información (SRI) propone representar y almacenar grandes cantidades de información, con el objetivo de facilitar y acelerar la búsqueda de información relevante para una consulta del usuario. Se pueden encontrar dos procesos principales en un SRI: indexación y matching. El proceso de indexación corresponde a la representación y almacenamiento de los documentos. En cambio el matching pretende estimar si un documento es relevante de acuerdo a la consulta enviada por un usuario. Generalmente el matching es representado por una puntuación. Existe una amplia gama de propuestas en RI que tratan la indexación, funciones de matching, modelos formales, entre otros. Sin embargo, existe una cantidad mínima de propuestas que toman ventaja de las búsquedas realizadas anteriormente por los usuarios. Las búsquedas pasadas proveen una fuente útil de información para nuevos usuarios (nuevas consultas). Por ejemplo, un usuario que busca un nuevo tema puede beneficiarse de las búsquedas realizadas anteriormente por otros usuarios que buscaron el mismo tema. Los documentos relevantes de las consultas pasadas podrían ser utilizados para responder una nueva consulta. Este principio podría beneficiarse del clustering de las búsquedas pasadas de acuerdo a su similitud. El clustering consiste en construir grupos de documentos similares. Se pueden identificar dos categorías de clustering: clustering estático y clustering de post-recuperación. El clustering estático es la aplicación tradicional del método clúster en una colección de documentos. En cambio, el clustering de post-recuperación incluye la información de la consulta al clustering de documentos. Típicamente, las funciones de similitud (entre documentos) como la distancia del coseno, se utilizan en el clustering estático. Sin embargo, esas funciones no consideran el contexto específico bajo el cual se juzga la similitud de dos objetos. Este proyecto de título se centra en obtener resultados empíricos de la medida de distancia del coseno, comparándolo con una nueva medida de similitud denominada QDSM (Query- Document Similarity Measure), usando algunos algoritmos de clustering, utilizando las consultas pasadas junto con los documentos asociados a ellas.