Einbettung
Eine Liste von Zahlen, die die Bedeutung eines Textabschnitts widerspiegelt, sodass Texte mit ähnlicher Bedeutung nahe beieinander liegen und anhand des Abstands gefunden werden können.
Ein Modell wandelt den Text in eine lange Zahlenliste um – 1.536 bei OpenAI’s „text-embedding-3-small“ und 3.072 bei der großen Variante –, wobei die Länge für ein Wort oder eine Seite gleich ist und die Zahlen so angeordnet sind, dass ähnliche Bedeutungen nahe beieinander liegen. Die Nähe misst die Bedeutung, nicht gemeinsame Wörter: „überfällige Rechnung“ liegt nahe bei „Zahlungserinnerung“ und weit entfernt von „Rechnungsvorlage“. Keine einzelne Zahl hat für sich genommen eine Bedeutung, und Einbettungen aus verschiedenen Modellen lassen sich nicht miteinander vergleichen. Genau das macht die Suche nach Bedeutung und damit auch RAG möglich.