Der vorliegende Beitrag diskutiert die Problematik des Aufbaus elektronischer Wörterbücher und stellt das Projekt Deutscher Wortschatz vor, ein umfangreiches Vollformenwörterbuch des Deutschen, das seit 1995 am Institut für Informatik der Universität Leipzig entsteht.
Traditionelles Anliegen einsprachiger Wörterbücher ist es, Informationen über typischerweise bekannte Wörter zusammenzustellen, (Flexionsangaben, etymologische Angaben, Unterscheidung mehrerer Bedeutungen, Gebrauchsbeispiele speziell in Redewendungen usw.) und unbekannte Wörter inhaltlich erschließen zu helfen. Dabei gibt es unterschiedliche Möglichkeiten bei der Reihenfolge der Darstellung ("normale" Reihenfolge in lexikographischer Sortierung, rückläufige Wörterbücher, Anordnung nach inhaltlichen Kriterien, Wortlänge usw.). Der Umfang solcher Wörterbücher liegt wegen des begrenzten Umfangs einer Druckausgabe zwischen einigen 10.000 und einigen 100.000 Stichwörtern.
Elektronische Medien wie CD-ROM und Internet schaffen hier neue Aufbereitungs- und Nutzungsformen, da mit ihnen nicht nur möglich ist, sehr große Datenbestände bei vertretbaren Kosten zu distribuieren, sondern durch automatische Erschließungsverfahren (Recherchefunktionen, Indices etc.) und Hypertextverknüpfungen über das direkte Nachschlagen einzelner Lemmata hinaus neue Nutzungsformen eröffnen. Für zahlreiche gedruckte Lexika sind in den vergangenen Jahren elektronische Fassungen erstellt worden, i. d. R. auf CD-ROM und unter weitgehend unveränderter Übernahme des Ausgangsdatenbestands. Hier spielt die sog. medienneutrale Datenhaltung eine große Rolle, da sich mit ihr eine vom Zielformat (Druck oder elektronische Version) weitgehend unabhängige Verwaltung und Bearbeitung der Substanzen möglich ist, (sog. cross-media publishing, cf. Heyer 1995, Kamps et al. 1999). Diese Wörterbücher auf CD-ROM konnten jedoch bisher die zunächst hohen Erwartungen der Verlage beim Absatz nicht erfüllen, wofür vielfältige Gründe verantwortlich gemacht werden können, u. a.:
Aus der Erkenntnis, daß ein wirklich umfangreiches einsprachiges Wörterbuch des Deutschen nach klassischem Vorbild auch in der nächsten Zeit nicht zur Verfügung stehen wird und auch nicht mit vertretbarem Aufwand herstellen läßt, wurde nach anderen Lösungsmöglichkeiten gesucht. Die zu erfüllenden Randbedingungen waren:
Das Wortschatz-Lexikon (http://wortschatz.uni-leipzig.de) ist ein Vollformenlexikon des Deutschen und verfügt derzeit über mehr als fünf Millionen Vollformen mit einer je unterschiedlichen Anzahl zusätzlicher Angaben.
Das Wortschatz-Lexikon ist aus einer Vielzahl unterschiedlicher Quellen aufgebaut, wobei quantitativ der Volltext mehrerer Tageszeitungen im Vordergrund steht; darüber hinaus gehen aber auch Fachlexika, Fachzeitschriften und Monographien aus unterschiedlichen Wissensgebieten (u. a. Medizin, Rechtswissenschaft, Inormatik) in den Datenbestand ein.
Die Quellen werden zur Auswertung von Autoren und Verlagen zur Verfügung gestellt, allerdings mit der Einschränkung, daß die ursprünglichen Texte nicht im Zusammenhang rekonstruierbar sind, also etwa ein Zeitungsartikel nicht vollständig ausgelesen werden kann. Aus diesem Grund arbeitet das Wortschatzprojekt weitgehend satzbasiert; die in einzelne Sätze zerlegten Text sind Ausgangspunkt unterschiedlicher Analysen, z. B. zur Kollokationsermittlung.
Die Angaben zu Flexion, Morphologie, Sachgebiet, Synonyme etc., die vor allem aus strukturierten Quellen wie Lexika und durch computerlinguistische Analyseprogramme ermittelt werden, sind der jeweiligen Grundform eines Wortes zugeordnet, flektierte Formen enthalten statt dessen einen Verweis auf die entsprechende Grundform. Momentan haben diese Angaben noch nicht überall die gewünschte Qualität, da sie teilweise mit automatischen Mitteln erzeugt wurden und bei der Anzahl der Einträge eine vollständige intellektuelle Überarbeitung nicht möglich ist. Über das Inventar der Beschreibungskategorien klassischer Wörterbücher hinaus sind weitere Angaben vorhanden: Für jedes Wort werden zusätzlich (soweit vorhanden) drei Beispielsätze angezeigt, die das Wort enthalten. Zusätzlich sind für alle Formen Häufigkeitsangaben vorhanden. Sie beruhen auf dem Vorkommen in den insgesamt etwa 13 Millionen Beispielsätzen. Aus diesen Beispielsätzen lassen sich weitere Informationen gewinnen: Um den typischen Gebrauch eines Wortes zu ermitteln, werden häufig Kollokationen untersucht. Im Wortschatz-Lexikon werden zwei Arten von Kollokationen angegeben: Berücksichtigt wird einmal statistisch signifikant häufiges gemeinsames Auftreten in einem Satz, zum anderen statistisch signifikant häufiges Auftreten als unmittelbarer rechter bzw. linker Nachbar. Mit 3.8 Millionen Kollokationsangaben zu 260.000 Wörtern ist das Wortschatz-Lexikon die einzige umfassende und online verfügbare Quelle für Kollokationen des Deutschen, für den englischen Sprachraum gibt es die COBUILD English Collocations on CD-ROM, vgl. http://titania.cobuild.collins.co.uk/collscd.html.
Die nachfolgenden Beispiele "Lenker", "Oxymoron" und "maschinenlesbarer" (Stand: September 1999) sollen die Strukturen und Recherchemöglichkeiten illustrieren. Sie wurden über entsprechende Anfragen an das Wortschatz-Lexikon ermittelt, die über die angegebenen URLs nachvollzogen werden können.
Wort: Lenker
Häufigkeitsklasse: 13 (d.h. der ist ca. 2^13 mal häufiger als das gesuchte Wort)
Wort: Oxymoron
Häufigkeitsklasse: 19 (d.h. der ist ca. 2^19 mal häufiger als das gesuchte Wort)
Wort: maschinenlesbarer
Häufigkeitsklasse: 19 (d.h. der ist ca. 2^19 mal häufiger als das gesuchte Wort)
Als Grundlage für den Aufbau des Wortschatz-Lexikons dienen Methoden und Verfahren der Korpuslinguistik, einem Teilgebiet der Computerlinguistik mit engen Verbindungen zur angewandten Informatik. Anliegen der Korpuslinguistik ist es, aus umfangreichen Datenkorpora (i. d. R. Text) Informationen, insbesondere linguistische Beschreibungskategorien, zu ermitteln. Betrachtet man Korpuslinguistik als Arbeitsgebiet der angewandten Informatik bzw. der Computerlinguistik, so liegt der Schwerpunkt auf dem Einsatz automatischer Methoden und der Bearbeitung großer Datenmengen: Einerseits erfordern statistische Methoden in der Regel gewisse Mindesthäufigkeiten für die Ermittlungen zuverlässiger Aussagen. Andererseits lassen sich große Datenmenge mit vertretbarem Aufwand nicht ohne den nachhaltigen Einsatz von Rechenleistung untersuchen. Dies soll am Beispiel von Kollokationen erläutert werden.
Kollokationen von Wörtern im Text beschreiben das Phänomen gemeinsamen Auftretens von Wörtern; dabei versucht man unter allen vorhandenen Kollokationen diejenigen zu ermitteln, die sich auf der Basis eines zur Berechnung herangezogenen Kollokationsmaßes als signifikant erweisen. Die Ermittlung signifikanter Kollokationen ist ein seit langem in der Korpuslinguistik angewandtes Analyseverfahren (cf. Lemnitzer 1998, Kim & Choi 1999). I. d. R. werden dabei sog. 2er-Kollokationen betrachtet. Um überhaupt mehrere signifikante Kollokationen für ein Wort finden zu können, müssen mindestens 50 Vorkommen untersucht werden, wobei die Anzahl ermittelter signifikanter Kollokationen mit der Häufigkeit eines Wortes steigt. Damit kommen nur Wörter mit einer absoluten Häufigkeit von mindestens 50 für diese Untersuchung in Frage. Dabei handelt es sich aber nur um einen Bruchteil der insgesamt bekannten Wörter, derzeit rund 260.000 Wörter. Für weitere Untersuchungen ist also auch ein weiterer Ausbau der Belegmenge unumgänglich. Bei den hinreichend häufig belegten Einträgen lassen sich aber recht gute Ergebnisse, z. B. für die Ermittlung von Kohyponymen erzielen, wie die obigen Beispieleinträge und die nachfolgende Kollokationsliste für "Bier" zeigen:
Kollokationen zu Bier:
Auch die Suche nach Phrasen, also aus mehreren Worten bestehenden Folgen, die signifikant häufig auftreten ("feste Wendungen"), erweist sich die Belegmenge zu als häufig zu klein. Beispielsweise findet sich im Deutschen Wortschatz mit Hilfe der Recherchefunktion "Suche im Satz" nur maximal fünf Belegstellen für
Der Umfang des Deutschen Wortschatzes beträgt einschließlich Beispielsätzen und Indexdateien derzeit etwa 20 Gigabyte Textdaten. Der Umgang mit solchen Massendaten bringt eine Reihe technischer Schwierigkeiten mit sich: Zunächst ist das Internet die einzige geeignete Plattform, ein solches Wörterbuch zugänglich zu machen. Eine CD-ROM reicht für die Datenmenge lange nicht mehr aus, DVD (digital versatile disk) mit ihrem deutlich höheren Fassungsvermögen von mehreren Gigabyte Daten wäre prinzipiell eine Alternative, ist aber bei Nutzern nicht verbreitet und langfristig nicht ausreichend.
Zur Datenhaltung wird momentan ein Unix-Server mit einer relationalen Datenbank verwendet. Auf mehrere Tabellen verteilt enthält sie momentan ca. 150 Millionen Einträge (einschließlich dem Volltext-Index). Weit verbreitete Datenbanken aus dem PC-Bereich eignen sich nicht für die effiziente Verwaltung derartiger Datenmengen. Trotz der hohen Leistungsfähigkeit des eingesetzten Datenbankservers können Engpässe auftreten, wenn etwa mehrere Nutzer Anfragen starten, die eine vollständige sequentielle Suche in den Datenbanktabellen erfordern (z.B. eine Infixsuche in allen Einträgen, etwa nach *fff* , d.h. nach Wörtern mit drei f in der Mitte).
Neben der Datenverwaltung und -lieferung durch Datenbankserver und Webserver stellen sich Vielzahl konzeptueller und technischer Herausforderung im Vorfeld der Lexikonpräsentation, d.h. bei der Datenaufbereitung und -überarbeitung. Seit Beginn des Projekts hat sich eine heterogene Infrastruktur mit einer Vielzahl von Werkzeugen herausgebildet, die sich grob den folgenden Kategorien zuordnen lassen:
Ein großes Problem stellt die Analyse der großen Datenmengen an sich dar: Die große Zahl der Lexikoneinträge erlaubt zwar den Einsatz von Algorithmen mit linearer Komplexität, d. h. deren Laufzeit linear mit der Zahl der bearbeiteten Einträge wächst wie etwa Programme zur morphologische Zerlegung, die jedes Wort einzeln bearbeiten, schafft aber Probleme bei Algorithmen höherer (also z. B. quadratischer) Komplexität. Beispielsweise muß bei der Bestimmung der Kollokationen jedes in Frage kommende Wortpaar untersucht werden, also jedes Wort mit jedem anderen verglichen werden. Dies ist aus Zeitgründen nur noch mit speziellen Algorithmen möglich, die alle notwendigen Daten komprimiert im Arbeitsspeicher halten. Bei der Kollokationsbestimmung konnte dadurch die Bearbeitungszeit von geschätzten 300 Jahren bei der Arbeit innerhalb der Datenbank (d.h. mit vielen Festplattenzugriffen) auf wenige Stunden (mit eigener Datenstruktur im Hauptspeicher) gesenkt werden.
Die seit gut eineinhalb Jahren im World Wide Web verfügbare Abfrageschnittstelle hat bisher Zugriffszahlen mit einer konstanten Wachstumsrate von ca. 20% pro Monat; bei weiterer kontinuierlicher Steigerung kann auch die Last auf dem HTTP-Server zum Problem werden. Mittelfristig soll hier die Einführung einer verteilten Architektur, bei der die Datenbank auf einem Cluster von Workstations vorgehalten wird, Abhilfe schaffen.
Bei der klassischen Wörterbucherstellung erfolgt die Freigabe des Wörterbuches nach der erfolgreichen Bearbeitung sämtlicher Wörterbuchartikel zu einem festen Zeitpunkt. Dieses Vorgehen ist bei einem Umfang von mehreren Millionen Einträgen nicht möglich, da hier jeder vernünftige Zeitrahmen gesprengt würde. Allein die Endredaktion würde rund 20 Personenjahre benötigen, selbst wenn man eine Kapazität von 1000 Artikeln pro Person und Arbeitstag annimmt.
Als einzige Alternative stellt sich hier die laufende Publikation des Wörterbuchs in "unfertigem Zustand" dar, wobei gleichzeitig stetig an der Verbesserung gearbeitet wird. Dieses Vorgehen wird durch das Medium Internet unterstützt, da so jeweils der aktuelle Stand angeboten werden kann, ohne einzelne Stadien fixieren zu müssen, wie das bei Druckauflagen oder CD-ROMs geschieht. Es liegt dem Vorhaben also eine grundsätzlich andere methodische Perspektive zugrunde: Es versteht sich als ein Dauerprojekt, das sich mit der quantitativen und qualitativen Optimierung der Datenbestände fortschreibt, ohne dabei einen fixierten Endpunkt aufweisen zu können oder wollen.
Für den Nutzer entsteht so der Nachteil, daß nicht sicher ist, daß bei einer späteren Abfrage die gleiche Antwort der Datenbank entsteht, wenn die Bearbeitung an dieser Stelle fortgeschritten ist. Außer offensichtlichen Fehlern, deren Beseitigung sicher ein Fortschritt ist, kann sich beispielsweise die Häufigkeit eines Wortes vergrößert haben, wenn mehr Text ausgewertet wurde. Man kann allerdings einwenden, daß das "organische Wachsen" des Projektes auch die Fortschreibung sprachlicher Wirklichkeit reflektiert bzw. sich kontinuierlich an diese annähert.
In Einzelfällen kann man solchen Nachteilen auch durch die Art der Datenauswertung abhelfen: Beispielsweise wird statt neben absoluten Häufigkeit eines Worts auch eine Häufigkeitsklasse ermittelt, die sich aus dem Verhältnis dieser Häufigkeit zur Häufigkeit des Artikels Çderë, des häufigsten Wortes im Deutschen, berechnet. Dieses Verhältnis ändert sich bei der Vergrößerung des Korpus kaum, so daß die Häufigkeitsklasse unverändert bleiben sollte.
Ein weiteres methodisches Problem ist die Qualitätssicherung für die eingelesenen Daten: Die heterogenen Quellen enthalten nicht nur unterschiedlich strukturierte Beschreibungen mit demselben Informationsgehalt (z. B. unterschiedliche Bezeichnungen für eine Sachgebietsangabe; unterschiedlich aufgebaute grammatikalische Angaben in den Eintragsstrukturen zweier Lexika), sondern auch fehlerhafte Daten in nennenswertem Umfang (z. B. Tippfehler in Zeitungstext). Um die Qualität des Wortschatz-Lexikons zu sichern bzw. zu optimieren, wird ein mehrschichtiges System der Qualitätssicherung für die Wortschatz-Einträge betrieben:
Das Wortschatz-Lexikon ist unter http://www.wortschatz.uni-leipzig.de oder http://wortschatz.uni-leipzig.de zugänglich und wird rege genutzt - momentan erfolgen täglich ca. 500 Zugriffe. Die folgenden Nutzungsinteressen lassen sich feststellen:
Die praktischen Erfahrungen bei der Erstellung eines sehr großen Wörterbuchs zeigen, daß neue Methoden bei der Erstellung notwendig sind, die auch zu anderen Nutzungsschwerpunkten führt. Verfahren, die automatisch Angaben zu Wörtern generieren, müssen weiterentwickelt und sicherer gemacht werden.
Insgesamt ist es aber gelungen, nicht nur ein umfangreiches Vollformenlexikon der allgemeinen Nutzung zur Verfügung zu stellen, sondern dabei auch eine Aufbereitungsinfrastruktur zu schaffen, die sich relativ einfach auf andere Datenbestände übertragen läßt. Dies gilt sowohl für den Aufbau eine analog strukturierten Projekts für eine andere Datenbasis im Deutschen als auch für die Anwendung auf Texte anderer Sprachen: Derzeit entstehen eine Reihe weiterer monolingualer Datenbestände z. B. für das Englische, Niederländische und Französische, bei denen wir die bisher erarbeiteten Softwarewerkzeuge unter geringen Modifikationen wiederverwenden konnten.
Neben der Ausweitung linguistischer und statistischer Analyseverfahren und der quantitativen wie qualitativen Erweiterung des Datenbestands sollen mittelfristig folgende Ziele in Angriff genommen werden:
| deutsch | englisch | niederländisch | |
| laufende Wörter | ca. 300 Mio. | ca. 123 Mio. | ca. 22 Mio. |
| Sätze | ca. 13,4 Mio. | ca. 6,4 Mio. | ca. 1,5 Mio. |
| Wortformen | ca. 6 Mio. | ca. 700.000 | ca. 600.000 |
Heyer, Gerhard (1995): "Elements of a Natural Language Processing Technology." In: Heyer, Gerhard / Haugeneder, Hans (eds.) (1995): Language Engineering. Essays in Theory and Practice of Applied Natural Langugae Computing. Wiesbaden: 15-32.
Kamps, Thomas et al. (1999): "SGML für dynamische Publikationen: das Beispiel Fischer Weltalmanach." In: Möhr, Wiebke / Schmidt, Ingrid (eds.) (1999): SGML und XML. Anwendungen und Perspektive. Berlin etc.: 173-192.
Kim, Myoung-Cheol / ChoiI, Key-Sun (1999): "A Comparison of Collocation-Based Similarity Measures in Query Expansion." Information Processing & Management 35/1: 19-30.
Läuter, Martin / Quasthoff, Uwe (1999): "Kollokationen und semantisches Clustering." In: Proc. GLDV-Jahrestagung 1999 [erscheint].
Lemnitzer, Lothar (1998): "Komplexe lexikalische Einheiten in Text und Lexikon." In: Heyer, Gerhard / Wolff, Christian (eds.): Linguistik und neue Medien. Wiesbaden: 85-91.
Quasthoff, Uwe (1998A). "Tools for Automatic Lexicon Maintenance: Acquisition, Error Correction, and the Generation of Missing Values." In: Proc. First International Conference on Language Resources & Evaluation, Granada, Mai 1998, Bd. 2: 853-856.
Quasthoff, Uwe (1998B): "Projekt Der Deutsche Wortschatz." In: Heyer, Gerhard / Wolff, Christian (eds.). Linguistik und neue Medien. Wiesbaden: 93-99.
Wolff, Christian; Quasthoff, Uwe (1999): LEMDIC. Leipzig Multilingual Dictionary Design. Draft Technical Report, Leipzig University, CS Inst., NLP Dept., July 1999, Version 0.7.