3 Fragen zu Sprachverarbeitung

Um Wörter in Vektoren umzuwandeln, verwendet man sogenannte Wort-Embeddings. Dabei werden Wörter durch mathematische Vektoren in einem mehrdimensionalen Raum dargestellt. Es gibt verschiedene Methoden dafür: 1. **One-Hot-Encoding**: Jedes Wort wird durch einen Vektor dargestellt, der überall 0 ist, außer an einer Stelle, die für das jeweilige Wort steht (dort ist eine 1). Beispiel: Bei einem Vokabular von 10.000 Wörtern ist jeder Vektor 10.000 Dimensionen lang. 2. **Wort-Embeddings wie Word2Vec, GloVe oder FastText**: Hier werden Wörter durch dichte Vektoren mit z.B. 100 oder 300 Dimensionen dargestellt. Diese Vektoren werden so trainiert, dass sie semantische Beziehungen zwischen Wörtern abbilden (z.B. sind die Vektoren für "König" und "Königin" ähnlich). - **Word2Vec**: [https://code.google.com/archive/p/word2vec/](https://code.google.com/archive/p/word2vec/) - **GloVe**: [https://nlp.stanford.edu/projects/glove/](https://nlp.stanford.edu/projects/glove/) - **FastText**: [https://fasttext.cc/](https://fasttext.cc/) 3. **Kontextuelle Embeddings (z.B. BERT, GPT)**: Hier werden die Vektoren für ein Wort abhängig vom Kontext im Satz berechnet. Das bedeutet, dass das gleiche Wort in unterschiedlichen Sätzen unterschiedliche Vektoren haben kann. - **BERT**: [https://github.com/google-research/bert](https://github.com/google-research/bert) **Zusammengefasst:** Man nutzt spezielle Algorithmen oder vortrainierte Modelle, um jedem Wort einen Vektor zuzuordnen, der die Bedeutung des Wortes in Zahlen ausdrückt. Diese Vektoren können dann für maschinelles Lernen, Textanalyse oder andere Anwendungen genutzt werden.

Es wird zwischen zwei Hauptarten von Modellen der Sprachverarbeitung und Sprachproduktion unterschieden: 1. **Symbolische Modelle**: Diese Modelle basieren auf Regeln und Symbolen. Sie verwenden explizite grammatische Regeln und logische Strukturen, um Sprache zu analysieren und zu generieren. Beispiele sind grammatikbasierte Systeme und Expertensysteme. 2. **Statistische und neuronale Modelle**: Diese Modelle nutzen statistische Methoden und maschinelles Lernen, insbesondere neuronale Netze, um Muster in großen Datenmengen zu erkennen. Sie sind in der Lage, Sprache durch Training an Beispielen zu lernen, was zu flexibleren und oft leistungsfähigeren Ergebnissen führt. Beispiele sind neuronale maschinelle Übersetzungssysteme und Sprachmodelle wie GPT. Diese beiden Ansätze haben unterschiedliche Stärken und Schwächen und werden oft in Kombination verwendet, um die besten Ergebnisse in der Sprachverarbeitung zu erzielen.

Das unidirektionale, serielle Modell der Sprachverarbeitung ist das **Logogen-Modell** (b). Dieses Modell beschreibt, wie Wörter in einem mentalen Lexikon aktiviert werden, wobei die Aktivierung in einer linearen, sequentiellen Weise erfolgt.