Meyers Konversationslexikon

Text archives Help


[Meyers] Konzept Lexikon


Chronological Thread 
  • From: "Familie Hug" <familie.hug AT swissonline.ch>
  • To: "Meyers Lexikon" <Meyers AT lists.franken.de>
  • Subject: [Meyers] Konzept Lexikon
  • Date: Sun, 11 Jul 2004 20:47:31 +0200
  • List-id: Meyers Konversationslexikon <meyers.lists.franken.de>

Hallo Liste

In der Anlage ist ein "Konzept Lexikon" (Version 1) für die weitere,
maschinelle Verarbeitung der korrigierten Texte von Meyers Lexikon (und
anderen). Der Entwurf laesst insbesondere in Teil 5 Document Type Definition
(DLMeta) noch zu wuenschen uebrig, ist aber sicher eine moegliche Basis zur
Diskussion.

Was meint Ihr zu den Geanken im "Konzept Lexikon"?

Ich werde weiter daran arbeiten, alle Anregungen und Kritiken sind
willkommen. Bis Oktober moechte ich mit der SAS-Software einen Prototyp
erstellen, der automatisch verlinkte Seiten erstellt, im Moment waeren dies
die Baende 14-16.

Gruss Peter Hug

PS: Das ist ein 2. Versuch. Ich hoffe, die Textdatei bzw. die identische,
mit WinZip komprimierte Worddatei sind lesbar. Ein erster Versand scheiterte
an der Limite 40 KB.

Konzept Lexikon 12. Juli 2004
Version 1


Im Folgenden sind verschiedene Überlegungen zur genauen Struktur und Form
von Meyers Lexikon zusammengefasst. Als Konzept können sie später für eine
maschinelle Verarbeitung der Texte verwendet werden. Ziel ist die
automatische
Verlinkung der Texte nach allen Schlagworten.

Gleichzeitig soll dieser Text zur Kommunikation und Kontrolle für die Gruppe
der Bearbeiter dienen.


1) Textstruktur

Das Meyers Lexikon besteht aus über 16'000 Seiten und 160'000 - 200'000
Artikeln, je nach Zählart und Genauigkeit der Schätzungen. Der Text lässt
sich wie folgt beschreiben.

1 a) Begriffe

Seite In der ersten Zeile die Seitennummer, dann Leerzeile dann
Titel
der Seite, dann Leerzeile, dann der erste Artikel (ev.
Fortgesetzt von der vorherigen Seite).

Titel der Seite Jede Seite hat einen Titel. Der Titel nennt den ersten neuen
Artikel und - bei mehreren Artikeln - den letzten neuen
Artikel
auf der Seite.
Wenn kein einziger neuer Artikel vorkommt, wird der aktuelle
Artikel genannt, in Klammer die aktuellen Abschnitte im
Artikel.

Artikel haben am Anfang ein Schlagwort, danach folgen mehrere
Vollworte.
Artikel können einem oder auch mehreren Themen zugeordnet
sein.
Artikel können unterteilt sein, z. B. 1), 2) etc. oder zwei
Artikel können das gleiche Schlagwort haben. Bsp.: 14/637,
14/638.

Artikel sind durch eine Leerzeile getrennt.

Vollworte sind die durch Leerzeichen getrennten Elemente im Artikel.
Sie werden im ersten Lesen eindeutig an den Leerzeichen
erkannt.
Vollworte enthalten eventuell mehrere Worte (z.B. Hans-Peter)
sowie alle Satzzeichen, z.B. "Aufl.,".

Vollworte haben bis ca. 40 Zeichen, z.B. 21/114, Eisensalmiak
"Chlorwasserstoffammoniakeisenchlorid"

Schlagworte sind die Suchbegriffe in der natürlichen Sortierung vom
Lexikon.
Die Schlagworte (auch Stichworte genannt) sind der Titel der
Artikel.
Schlagworte haben 1 bis etwa 4 Worte (z. B.14/931 Sic eunt
...).

Das Schlagwort ist eine Wortgruppe (siehe unten), geht bis
zum
ersten Komma, Strichpunkt oder Klammer, ist ohne Ausdrücke in
Klammern (z.B. spr = sprich) und ohne Satzzeichen.

Die Ausdrücke in Klammern können als weitere Schlagworte
dienen.
Das Komma kann fehlen (z.B. Seegefahr, 14/804) oder durch
einen
Punkt ersetzt sein (z.B. Selbstversicherung 14/845).
Bei Pflanzen und Tieren werden Abkürzungen zu Entdecker
weggelassen (z.B. Semecarpus, 14/851). Ausnahmen:
a) "Senegali, kleiner", mit Komma (14/863);
b) "Senegapflanze und Senegawurzel", zwei Schlagworte
(14/864);

Dem Schlagwort im Text können Beugungen folgen, z.B. "Mühle"
zu
"Mühlen". Als Näherung: "-n, -e, -en, -es, -s, -er", sie
müssen
aber eindeutig bleiben.

Jedes Schlagwort wird im ganzen Lexikon gesucht und nach
Möglichkeit zweiseitig verlinkt. Basis ist die reduzierten
Worte
(siehe unten).


1 b) Spezialzeichen

Bindestich "-" verbindet zwei Worte, ist Teil eines Vollwortes.

Gedankenstrich "-" ist ein Vollwort.

Klammern (runde) oder [eckige] Klammern stehen am Anfang oder am Ende
von
Vollworten.

Anführungszeichen (") stehen am Anfang oder am Ende von Vollworten.

Satzzeichen Elemente zur Gliederung oder Betonung der Sätze: Semikolon
";",
Punkt ".", Fragezeichen "?" sowie Ausrufezeichen "!".
Nebst weiteren Spezialzeichen stehen sie nur am Ende von
Vollworten, nie innerhalb.
Im Lexikon wird das Semikolon fast wie der Punkt verwendet.

Apostroph ' z.B. als Auslassung beim Genetiv "s", ist NICHT paarig.

Zahlen Ziffern, inkl. Apostroph ', Komma. Beispiele: "123", "12,098"
Römische Zahlen, z.B. IV. Aber auch 14jährig, oder 60er.
Vollworte aus Zahlen sind nicht mit Buchstaben gemischt.

Transkription Zeichen aus der Bearbeitung, z.B. ^[folgende Seite],
^[Abb: Titel.]

Sonderzeichen §, +, =, /, etc.


1 c) Worte

Wortgruppen bestehen aus mehreren Vollworten, die zusammen gehören.
Beispiele: Abgekürzte Vornamen plus Namen (J. W. Goethe),
Abkürzungen (s. v. w.) oder ein Datum (27. Juni 1860).

Datum Eine typische Wortgruppe (27. Jan. 1864), erkennbar an
Jahrzahl
im Bereich 1 bis 1890, eventuell einem Tag (1. - 31., mit
Punkt)
und vollem oder abgekürztem Monat (Jan, Feb, März, April,
Mai,
Juni, Juli, Aug, Sept, Okt, Nov, Dez).

Auch "31. März (a. St.) 1800" für den russischen Kalender.

Verknüpfung Einzelne Vollworte können zu einer Wortgruppe verknüpft
werden.
Technisch wird dies wieder ein Vollwort sein. Dies geschieht
über manuell vorbereitete Namens- und Abkürzungslisten von
gültigen Wortgruppen oder beim Datum über bestimmte Regeln
während dem Einlesen.

Worte sind die üblichen "Worte" ohne Spezialzeichen, also die
elementaren Bausteine der Sprache, gebildet aus Buchstaben
(inkl. solchen aus Fremdsprachen), oder Zahlen.

Die Differenz vom Wort zum Vollwort sind die Spezialzeichen.
Ein
Vollwort kann mehrere Worte enthalten (vor allem bei
Bindestrichen -) oder auch keines, z.B. "(!)". Ein Wort kann
auch Leerzeichen enthalten, die aus einer Verknüpfung
entstanden
sind, siehe Wortgruppe.

Reduzierte Worte sind Worte, die nur das klassische Alphabet enthalten: A-Z,
a-z
und 0-9. Alle Akzente werden weggelassen, die Umlaute sind
auf
ae, oe, ue umgesetzt.
Die reduzierten Worte werden gebraucht, um die Suche, die
Tests
und die Vergleiche unabhängig von der Schreibweise mit
Akzenten
etc. durchzuführen (Meyers ist leider nicht konsequent).
Wenn zweckmässig, kann auch die Gross- und Kleinschrift
weggelassen werden.

Bei reduzierten Worten werden auch Endungen (1-2 Zeichen)
weggelassen, z.B. "Mühle" statt "Mühlen".

Aus reduzierten Worten können gute Verweise abgeleitet werden.
Sie sind die Basis für das Verlinken.

Abkürzungen haben immer einen Punkt am Schluss, "z. B." oder "s. v. w.".
Auch bei Zahlen, 2. etc. Siehe Datei der Abkürzungen.


1 d) Sätze

Sätze sind durch einen Punkt oder begrenzt, aber ohne Abkürzungen.
Sätze sind nicht eindeutig erkennbar.

Teilsätze sind mit Strichpunkt (=Semikolon = ;) oder Punkt abgetrennte
Teile eines Artikels.

Absätze sind durch eine neue Zeile gekennzeichnet. Jedem Absatz muss
ein
Punkt vorausgehen.

Zwischentitel können einen eigenen, kurzen Absatz bilden.

Lange Sätze z. B. bei Sinnlichkeit, 14/994.


2) Verarbeitung

2 a) Seitenumbruch

In einem ersten Schritt sind die Artikel zu verbinden, wenn diese über
mehrere
Seiten verteilt sind. Dabei entfällt der Hinweis ^[folgende Seite]. Die
ursprünglichen Positionen je Seite bleiben erhalten. Am Seitenanfang gelten
folgende Regeln:
- Wenn das erste Wort mit dem Titel der Seite übereinstimmt, beginnt ein
neuer
Artikel, sonst wird der letzte Artikel fortgesetzt.
- Wenn auf der vorangehenden Seite ^[folgende Seite] steht, dann wird der
Artikel fortgesetzt.
Das letzte und das erste Wort werden ohne Bindestrich verbunden.
Ausnahme: Der erste Buchstabe auf der neuen Seite ist gross geschrieben.


2 b) Interpretation

Verweise "s." bedeutet, dass das zu suchende (Haupt-) Schlagwort folgt
auch mehrere, getrennt mit und). Vgl. 14/0698, 14/0804
"(s. d.)" bedeutet, dass ein Schlagwort vorangeht, vgl.
Seelilien, 14/810
"s. v. w." bedeutet, dass ein sekundäres Schlagwort folgt.
"Vgl. auch" bedeutet, dass ein sekundäres Schlagwort folgt.
"(s. d. 1)" bedeutet: Siehe dort, erster Teilartikel, z.B.
Skorpion, 14/1023

Themen Geographie: Im Artikel werden Einwohner (meistens "Einw.")
erwähnt. Die folgende Schreibweise ist üblich: "(1883) 5000
Konfession Einw." (Wortgruppe).
Häufig sind auch Teile wie "Bezirksamtsstadt".

Person: Schlagwort "geb." in den ersten 30 Worten plus Datum,
oder auch Schlagwort "gest." im Text.

. . . weitere (?)

Literaturzitate erkennbar am Merkmal (Wien 1867), häufig ";" oder "."
folgend. In der Klammer treten verschiedene Schlagworte auf
wie "Aufl.", "Bde.", "Tle.", auch ohne Ortsangabe. Im Text
gegen Ende eines (Teil-)Artikels oft eingeleitet mit "Vgl.".

Personen Artikel nennen bei Personen oft ein Wirkungsgebiet im 3.
Element (nach Name, Vorname und vor der Geburt).
Maler, Schauspieler, Dichter


2 c) Maschinelle Prüfungen

Statistiken Welche Zeichen kommen wie häufig vor?
Wie viele Zeichen hat ein Wort maximal?
Welche Worte kommen wie häufig vor?
Wie gross sind die Artikel? (Zeichen, Worte, Sätze,
Teilsätze).

Textanalyse Welche Mischformen Ziffern mit Buchstaben gibt es?
Grosse Buchstaben nur am Wortanfang, oder alle sind gross.

Gehen die (runden) und [eckigen] Klammern auf? Wo nicht?
Sind die "Anführungszeichen" paarig (Länge des Textes).

Nach "." oder ";" folgt ein Leerzeichen oder Interpunktion.
Nach Leezeichen folgen KEIN "." oder ";".

Sortierung Folgen sich die Artikel in alphabetischer Reihenfolge?
Stimmen die Titel der Seiten mit den Schlagworten?
Ähnlich ist: Gibt es zu jedem Titel einen Artikel?

Ideen Literaturzitate Artikel-Ende mit (hängenden) Absätzen
markieren.
Schlagworte im Text konsequent fett und als Link markieren.


3) Datenmodell

Schreibweise Variablen sind GROSS geschrieben. In Klammern steht die Länge
bzw. das Format der Variablen in Anzahl Zeichen / Stellen.
Textvariablen sind mit Dollar ($) gekennzeichnet.


3 a) Variablen

Sicht Druck BAND (2), SEITE ($5), NUMMER (4).
NUMMER bezeichnet die Nummer des VOLLWORTES auf der Seite.

Sicht Lexikon ARTIKEL ($30), NUMA (4), THEMA ($10)
NUMA bezeichnet die Nummer des VOLLWORTES im Artikel.

Text VOLLWORT ($40), WORT($40), RWORT($40)

Ein Artikel wird durch die VOLLWORTE vollständig wieder gegeben, das erste
VOLLWORT bzw. das erste WORT entspricht dem ARTIKEL. Die reduzierten Worte
dienen den besseren Verweisen.

Jedem WORT und RWORT entspricht genau ein VOLLWORT.


3 b) Dateien

Hauptdatei Die Hauptdatei enthält den Lexikontext im Original mit den
Variablen.
BAND, SEITE, NUMMER
ARTIKEL, VOLLWORT.

Artikeldatei Die Artikeldatei enthält alle Artikel mit dem
ARTIKEL (Schlagwort),
BAND, SEITE, NUMMER, THEMA, Anzahl Worte (5)
Verweise Datei mit den Verbindungen von Anker und Ziel, bestehend aus
RWORT,
Anker mit BAND, SEITE, NUMMER
Ziel mit BAND, SEITE, NUMMER.
Aus den Verweisen sollen ev. zusammen mit den Themen Cluster
mit
verwandten Gebieten gebildet werden.

Abkürzungen Datei mit den gültigen Abkürzungen gemäss den
Anfangsbuchstaben
im Lexikon
ABKÜRZUNG, VOLLWORT


3 d) Mengen

Lexikon Das Lexikon hat 16 Bände à 1000 Seiten, also 16'000 Seiten.

Seite Jede Seite hat etwa 1000 Worte mit 7000 Zeichen, also 7 KB.

Zeichen Im Lexikon sind etwa 16'000 x 7 KB = 112 MB Daten aus Zeichen.

Artikel Im Schnitt sind pro Seite 10 Artikel, im Lexikon sind also
160'000 Artikel. Ein Artikel kann über mehr als 20 Seiten
gehen
(Schweiz), also mindestens 20'000 Worte enthalten.

Files Annahme: Jedes Ergebnis-File soll etwa ca. 100 KB-Daten
enthalten.

Jede Seite Meyers hat 7 KB-Daten, mit geschätzten Links und
Formatierungen etwa 10 KB pro Seite.
Also können 10 Seiten in 1 Datei gepackt werden.
Das gibt etwa 1'600 Dateien für das ganze Lexikon.


4) Funktionen

Kontext Bestimmte Worte oder Zeichen werden im Kontext gezeigt, d.h.
mit
x Worten vorher und nachher.

Alle Artikel Zu einem bestimmten Artikel werden in Stufe 1 auch alle
Artikel
angezeigt, die einen direkten Verweis haben ("siehe" oder "s.
v.
w.").
In Stufe 1a werden alle Artikel gezeigt, die über ein
Schlagwort
im Text des Artikels gefunden werden können.
In Stufe 2 könnten auch alle Referenzen der gefundenen
Artikel
aufgelöst werden.


5) DTD Dokument Typ Definition

Achtung Dieses Kapitel ist nur eine Sammlung von Wissen und dient
vorerst als Gedankenstütze.

Wenn mir jemand helfen kann, bin ich froh.

Prolog <?XML version="1.0" encoding="iso-8859-1"?>
<!DOCTYPE DLmeta SYSTEM
"http://www.dlmeta.de/dlmeta/2000/DLmeta.dtd"; []>
<ABSTRACT> Meyers Lexikon in digitalisierter, verlinkter Form
</ABSTRACT>

<DLmeta>
<Object Origin="Uni Ulm" ObjectID="UT_Sample_001">
<Title><TitleMain>
Meyers Konversationslexikon 1888
</TitleMain></Title>
Hier werden die eigentlichen Metadaten eingefügt.
</Object>
</DLmeta>

Lexikon <Lexikon>
Artikel
</Lexikon>

Artikel <!ENTITY Abk "Schlagwort">
<Artikel>
<Schlagwort> SCHLAGWORT </Schlagwort>
<Text> TEXT </Text>
</Artikel>

<Text>
<Aufzählung> Nummer </Aufzählung>
<TeilSchlagwort> TEILSCHLAGWORT </TeilSchlagwort>
<Text1> TEXT1 </Text1>
</Text>

Markierungen <B> fett </B>
<UL> unterstreichen </UL>
<BR/> Neue Zeile

Abkürzungen <!ENTITY Abk "Spezielle Abkürzung" >
Aufruf als &Abk;, soweit im gleichen Dokument deklariert.

Definitionen <!ELEMENT z (#PCDATA|a|ul|b|i|em)*>

Referenzen <!ATTLIST artikel id ID #REQUIRED>
<!ATTLIST Schlagwort referenz IDREF #REQUIRED>

<artikel id="1234"> ... </artikel>
<Schlagwort referenz="1234"> ... </Schlagwort>

<img src="http://www.abc-comp/logo.gif";>

------------------------------------------------------------------------
Autor: Peter Hug, CH-3173 Oberwangen b. Bern
Mail:
familie.hug AT swissonline.ch

Attachment: Konzept Lexikon 1.zip
Description: Zip compressed data



  • [Meyers] Konzept Lexikon, Familie Hug, 07/08/2004
    • <Possible follow-up(s)>
    • [Meyers] Konzept Lexikon, Familie Hug, 07/11/2004

Archive powered by MHonArc 2.6.19+.

Top of page