Evaluación empírica de algoritmos en línea para clustering de documentos

Abstract

La recuperación de la información tiene como principal objetivo satisfacer una necesidad de información del usuario, a partir de un conjunto de recursos de información. Con el avance del tiempo y las tecnologías, la información está disponibles en muchos tipos de formatos y en cantidades enormes lo que hace necesario la automatización de esta actividad. Con esto aparecen los Sistemas de recuperación de información, los cuales utilizan el clustering de documentos con el propósito de mejorar su eficacia. Los métodos de clustering más utilizados para su funcionamiento son el clustering estático y el clustering dinámico. La hipótesis de clustering confirma que los documentos relevantes aparecen en los mismos grupos cuando estos tienden a ser similares entre sí. En investigaciones realizadas anteriormente, se concluye que el clustering dinámico de documentos si proporciona mejoras. Esta investigación tiene como principal objetivo mejorar la precisión de los documentos recuperados, aplicados en un contexto dinámico. Además de investigar la efectividad de diferentes algoritmos de clustering (Single link, Complete link y Average link). Para lograr estos objetivos se realizan dos tipos de experimentos, los cuales se llevan a cabo en dos conjuntos de documentos, denominados documentos antiguos y documentos nuevos. El primer tipo de experimentos son los relacionados con la precisión de los documentos, mientras que el segundo tipo de experimento consiste en analizar el comportamiento de los algoritmos de clustering (Single link, Complete link y Average link). Se debe mencionar que cada uno de estos experimentos fueron realizados en dos etapas, la primera etapa consiste en la extensión de los experimentos realizados en la tesis realizada anteriormente (Delia Moncada – Frederick Lara), y la segunda etapa consiste en un cambio de la metodología utilizada para simular los juicios de usuario aplicados a los documentos, con el fin mejorar la precisión y la efectividad. Los resultados para los experimentos relacionados a la precisión obtenida con la recuperación de documentos antiguos y la recuperación donde se unen documentos antiguos con documentos nuevos, en la primera etapa, indican que es posible conseguir una mejora en la precisión a medida que va aumentando la cantidad de documentos nuevos. Mientras que en la segunda etapa se demuestra que además de conseguir una mejora en la precisión a medida que aumenta la cantidad de documentos nuevos, la precisión aumenta en relación a la primera etapa. Para los experimentos respecto a la efectividad de los algoritmos de clustering, donde se considera la cantidad de documentos relevantes al recorrer el cluster generado solo con documentos antiguos, y la cantidad de documentos relevantes visitados al recorrer el cluster generado con la unión de los documentos antiguos y nuevos. Estos clústeres fueron generados con cada uno de los algoritmos de clustering, tanto en la primera etapa como en la segunda, para poder analizar cuál de los tres algoritmos obtuvo mejores resultados, siendo en ambas etapas el Average link el más efectivo.