GPT ist ein KI-Modell und steht ausgeschrieben für „Generative Pre-trained Transformer“. Also ein KI-Modell, welches mittels der sogenannten Transformer-Technologie eigenständig natürliche Sprache oder sonstige Ausgaben generiert, indem es mit großen Datenmengen vortrainiert wurde.
Die drei Begriffe bedeuten also folgendes:
- Generative: Das Modell erzeugt eigenständig neue Inhalte wie Texte, Antworten oder Zusammenfassungen.
- Pre-trained: Das Modell wurde vortrainiert auf großen Mengen an Textdaten um Sprachstrukturen und Kontextwissen zu erlernen.
- Transformer: Eine spezielle Architektur neuronaler Netze, die sich besonders gut für die Verarbeitung von Sprache und Text eignet, da sie Kontext und Zusammenhänge zwischen Wörtern und Sätzen erfassen kann.
Ein paar Beispiele gefällig?
Generative
- Texte verfassen (z.B. Artikel, Geschichten, Dialoge)
- Fragen beantworten
- Zusammenfassungen und Übersetzungen erzeugen
- Texte ergänzen oder korrigieren
Pre-trained
- GPT liest grosse Mengen Dokumente wie eBoks
- GPT durchforstet das Internet und liest Artikel wie von Wikipedia
Transformer
- Sie verwenden Aufmerksamkeitsmechanismen (Attention), wodurch das Modell beim Verarbeiten eines Wortes berücksichtigt, welche Wörter in dessen Umfeld relevant sind.
- Transformer-Modelle analysieren Kontext in Texten besonders effizient, indem sie Zusammenhänge zwischen allen Wörtern in einem Satz oder einer längeren Textstelle erfassen, ohne unbedingt streng linear vorzugehen.
