Sofortige Injektion
Text in den Daten, die ein Modell ausliest und der befolgt wird, als wäre es eine Anweisung, da das Modell die beiden nicht zuverlässig voneinander unterscheiden kann.
Das Problem der SQL-Injection wurde durch die Trennung von Code und Daten (parametrisierte Abfragen) behoben. Bei einem Modell gibt es diese Trennung nicht: Ihre Anweisung und der E-Mail-Text sind Token derselben Art, und alles, was das Modell liest, kann es beeinflussen. Training hilft zwar, schließt diese Lücke aber nie vollständig. Die Verteidigung liegt also im Design: Schränken Sie die Möglichkeiten der Tools ein, fragen Sie einen Menschen, bevor irreversible Schritte unternommen werden, und seien Sie vorsichtig bei jedem Agenten, der private Daten, nicht vertrauenswürdige Inhalte und eine Möglichkeit zum Versenden von Daten kombiniert.