1 Frage zu Wordembedding

Um Wörter in Vektoren umzuwandeln, verwendet man sogenannte Wort-Embeddings. Dabei werden Wörter durch mathematische Vektoren in einem mehrdimensionalen Raum dargestellt. Es gibt verschiedene Methoden dafür: 1. **One-Hot-Encoding**: Jedes Wort wird durch einen Vektor dargestellt, der überall 0 ist, außer an einer Stelle, die für das jeweilige Wort steht (dort ist eine 1). Beispiel: Bei einem Vokabular von 10.000 Wörtern ist jeder Vektor 10.000 Dimensionen lang. 2. **Wort-Embeddings wie Word2Vec, GloVe oder FastText**: Hier werden Wörter durch dichte Vektoren mit z.B. 100 oder 300 Dimensionen dargestellt. Diese Vektoren werden so trainiert, dass sie semantische Beziehungen zwischen Wörtern abbilden (z.B. sind die Vektoren für "König" und "Königin" ähnlich). - **Word2Vec**: [https://code.google.com/archive/p/word2vec/](https://code.google.com/archive/p/word2vec/) - **GloVe**: [https://nlp.stanford.edu/projects/glove/](https://nlp.stanford.edu/projects/glove/) - **FastText**: [https://fasttext.cc/](https://fasttext.cc/) 3. **Kontextuelle Embeddings (z.B. BERT, GPT)**: Hier werden die Vektoren für ein Wort abhängig vom Kontext im Satz berechnet. Das bedeutet, dass das gleiche Wort in unterschiedlichen Sätzen unterschiedliche Vektoren haben kann. - **BERT**: [https://github.com/google-research/bert](https://github.com/google-research/bert) **Zusammengefasst:** Man nutzt spezielle Algorithmen oder vortrainierte Modelle, um jedem Wort einen Vektor zuzuordnen, der die Bedeutung des Wortes in Zahlen ausdrückt. Diese Vektoren können dann für maschinelles Lernen, Textanalyse oder andere Anwendungen genutzt werden.