Statistical analysis of text for the extraction of semantic word relations (Q2724210)

Kurzfassung: Die Bedeutung von Thesauri für das Information Retrieval ist allgemein anerkannt. Aber die Verfahren zur automatischen Extraktion von semantischen Wortrelationen aus Textkorpora konnten bislang nicht an die Qualität von manuell erstellten Thesauri heranreichen.NEWLINENEWLINENEWLINEDiese Arbeit stellt einen neuartigen Ansatz auf der Basis von Assoziationen zweiter Ordnung vor: Wörter gelten als verwandt, wenn sie in ähnlichen Kontexten auftauchen. Der Kontext eines Wortes wird durch statistische Analyse seiner Kookkurenzen gewonnen.NEWLINENEWLINENEWLINEIm Gegensatz zu den meisten anderen Arbeiten werden die Ergebnisse direkt evaluiert. Als Referenz dient ein redaktionell erstellter Thesaurus mit mehr als 2.500 Synonymlisten in deutscher Sprache. Um auch flexierte Formen und Komposita abzudecken, kommt ein spärlich codierter Assoziativspeicher (SpaCAM) zum Einsatz.NEWLINENEWLINENEWLINEDer Referenzthesaurus erlaubt eine objektive Beurteilung des Einflusses zahlreicher Parameter. Einige davon waren zuvor noch nie in die systematische Evaluierung von maschinell generierten Synonymen miteinbezogen worden.NEWLINENEWLINENEWLINEEin interessantes Resultat ist, dass mit einem Stemming der Kontextwörter die Precision in den Synonymlisten sinken kann. Weiterhin ergibt sich als optimale Kontextgröße die Länge von ungefähr zwei Sätzen -- viele verwandte Ansätze betrachten einfach ganze Dokumente als eine Kontexteinheit.NEWLINENEWLINENEWLINEDie Analyse anderer Parameter führt zu Zusatzkriterien für das semantische Ähnlichkeitsmaß. Sie verbessern die Retrievaleffektivität, indem sie überflüssige Einträge aus der Kontext-Datenbank eliminieren. Ein willkommener Nebeneffekt ist, dass Speicherverbrauch und Rechendauer sinken. Das vorgestellte Verfahren liefert hochwertige Synonymlisten auf sehr effiziente Weise.NEWLINENEWLINENEWLINESemantische Relationen finden Einsatz bei der Expansion von Suchanfragen. Darüber hinaus werden innovative Anwendungsgebiete vorgestellt. Die generierten Assoziationen dienen als Wissensbasis, um aus einzelnen Dokumenten inhaltliche Konzepte zu extrahieren. Dabei werden Singulärwertzerlegung (SVD), Clusteranalyse und Stoppregeln kombiniert. Konzepte erleichtern das automatische Erstellen von Zusammenfassungen und die Navigation in langen Texten.NEWLINENEWLINENEWLINEEin anderes wichtiges Ergebnis dieser Arbeit ist ein Algorithmus, der auf Assoziationen basiert und semantische Querverweise für eine Enzyklopädie auf CD-Rom liefert. Des weiteren wird für intelligente Tutorensysteme ein Ansatz zur Diagnose der Vorkenntnisse eines Benutzers vorgeschlagen.