Große Sprachmodelle sind KI-Systeme, die auf riesigen Datensätzen trainiert werden, um menschenähnliche Antworten auf Texteingaben zu liefern. Sie finden Anwendung in Bereichen wie Textgenerierung, Übersetzung oder Datenanalyse.

Bei Chat AI können Sie unterschiedliche LLMs nutzen, um im Dialog mit dem System z. B. Texte zu erstellen. Neben Open Weight-Modellen wie LLaMa oder Mistral sind dort auch kommerzielle Modelle wie ChatGPT der Firma OpenAI verfügbar.

Ein wesentlicher Unterschied zwischen Open Weight- und kommerziellen Modellen liegt in ihrer Verfügbarkeit und Nutzung. Open Weight-Modelle sind frei zugänglich und können angepasst werden, doch „offen“ bedeutet bei großen Sprachmodellen nicht, dass alles transparent ist. Während der Quellcode einsehbar ist, bleiben die oft entscheidenden Trainingsdaten meist unzugänglich. Statt vollständiger Offenheit bieten solche Modelle also häufig nur die Möglichkeit der kostenlosen Nutzung. Kommerzielle Tools hingegen bieten meist bessere Performance und zusätzliche Funktionen, sind dafür jedoch kostenpflichtig.

Die GWDG stellt einige Open Weight-Modelle auf interner Hardware bereit. Diese Modelle leiten keine personenbezogenen Daten von Nutzer:innen an Drittanbieter weiter. Eingaben (Prompts) werden lediglich für die Dauer der Sitzung und nur lokal bei den Nutzer:innen gespeichert.

Kommerzielle Modelle wie ChatGPT von OpenAI werden von Drittanbietern (hier Microsoft) zur Verfügung gestellt. Microsoft behält sich das Recht vor, Prompts und Prompt-Konversationen bis zu 30 Tage zu speichern. Die Inhalte der Prompts werden damit an Microsoft übermittelt. Die Anfragen werden über die Server der GWDG an Microsoft gesendet. Daher werden durch die Anfrage als solche keine personenbezogenen Daten der Nutzer:innen weitergeleitet.

Beachten Sie bitte, dass die Nutzung der kommerziellen OpenAI-Modelle nach dem Verbrauch so genannter Token (Wörter oder Satzfragmente) abgerechnet wird und damit für die UDE kostenpflichtig ist. Es lohnt sich daher, die Open Weight-Modelle zu vergleichen und zu nutzen, da sie kostenfrei und leistungsstark sind.

Mit Token werden die kleinsten Einheiten eines LLM bezeichnet, mit denen Texte verarbeitet oder erstellt werden. Je nach LMM kann ein Token einzelne Umlaute oder Buchstabenfolgen umfassen.

Chat AI ist Teil der Service-Angebote der Academic Cloud. Für UDE-Mitglieder ist die föderierte Anmeldung via Shibboleth möglich.

Die nachfolgenden Ausführungen sind teils Übersetzung der Webseiten der GWDG .

Das Web-Interface bietet die folgenden Funktionen:

• Anhängen von Textdateien (+ Button): Dateien (.txt) als Kontext für Ihre Eingaben hinzufügen.
• Sprechen (Mikrofon): Direkt mit dem ausgewählten Modell sprechen. Bitte beachten Sie, dass Sie den Mikrofonzugriff in den Browsereinstellungen erlauben müssen. Nach entsprechenden Testläufen möchten wir Sie darauf hinweisen, dass diese Funktion ggf. nicht zuverlässig arbeitet.
• Import/Export: Vorherige Konversationen importieren oder exportieren.
• System-Prompt: Definiert die Rolle des Modells. Mehr dazu unter System-Prompt.
• Generierungsoptionen: Einstellungen zur Feinabstimmung der Modellantworten, temp und top_p. Details unter Generierungsoptionen.
• Teilen-Button: Erstellen einer URL mit Ihren aktuellen Einstellungen (ohne Gesprächsinhalt).
• Löschen-Button: Entfernt alle gespeicherten Daten und Konversationen.
• Memory-Funktion (Erinnerungsfunktion):  Fähigkeit des Systems, Informationen aus früheren Interaktionen zu speichern und bei Bedarf wieder abzurufen.
  • „None“: Deaktiviert die Memory-Funktion – jedes Gespräch wird unabhängig behandelt. 
  • „Recall“: Fügt Memory-Kontext zum System-Prompt hinzu, wodurch das LLM auf frühere Teile Ihres Gesprächs verweisen kann.
  • „Learn“: Das System erhält automatische Memory-Updates. Diese Funktion generiert eine möglichst natürliche Gesprächserfahrung.

Außerdem bietet die Oberfläche den Zugriff auf die Nutzungsbedingungen, FAQs und die Sprachumschaltung (Deutsch/Englisch). Nutzer:innen können zwischen einem Hell- und Dunkelmodus umschalten.

Ein System-Prompt ist eine Eingabe, die die Rolle oder das Verhalten des Modells für die aktuelle Sitzung definiert. Es handelt sich damit sozusagen um den Arbeitsauftrag an das Sprachmodell. Durch das Festlegen eines System-Prompts können Sie steuern, wie das Modell auf Ihre Eingaben reagiert. Beispielsweise können Sie das Modell anweisen, als Lehrkraft, Übersetzer:in oder Programmierer:in zu agieren.

Wir empfehlen, vor jeder Sitzung einen System-Prompt festzulegen, um das gewünschte Verhalten des Modells zu definieren.

Der System-Prompt ist nur bei Open Weight-Modellen (nicht bei den OpenAI-Modellen) anpassbar.

Sowohl die DeepSeek-Modelle, als auch OpenAI o1 und o1-mini verfügen über sogenannte Reasoning-Kapazitäten. Diese Funktion erlaubt es den Modellen, komplexere Aufgaben zu bewältigen, die eine schrittweise Analyse erfordern. Beispiele sind mehrstufige Berechnungen, Datenanalysen oder die Ableitung von Schlussfolgerungen. Modelle mit dieser Funktionalität sind in der Modell-Liste rechts durch ein spezielles Symbol gekennzeichnet. Bitte beachten Sie, dass Reasoning-Prozesse mehr Rechenzeit benötigen, weshalb die Antwort bei diesen Aufgaben nicht sofort sichtbar ist und etwas länger dauert. Reasoning-Modelle sind teilweise nicht in der Lage, Inhalte in Echtzeit zu streamen.

Zwar können die verfügbaren Modelle noch keine Bilder generieren, einige von ihnen bieten jedoch die Möglichkeit zur Bildanalyse. Sie können beispielsweise hochgeladene Bilder auswerten, um Inhalte wie Diagramme oder Statistiken zu analysieren. Modelle mit Bildverarbeitungsfunktionen sind in der Modell-Liste durch ein Kamerasymbol gekennzeichnet.

Zwei wichtige Einstellungen beeinflussen die Antworten eines Modells:

• Temperatur (0–2): Steuert die Kreativität. Niedrigere Werte liefern vorhersehbare Antworten, höhere fördern Kreativität.
• Top_p (0–1): Legt fest, wie viele mögliche Antworten einbezogen werden bzw. wie hoch die Variabilität der kumulierten Wahrscheinlichkeiten ist. Höhere Werte erhöhen somit die Vielfalt der generierten Texte.

Für präzise Aufgaben wie Programmieren empfiehlt sich eine niedrige Temperatur und Top_p. Kreative Aufgaben profitieren von höheren Werten.

Diese Optionen können nur bei Open Weight-Modellen (nicht bei den OpenAI-Modellen) angepasst werden.

Die GWDG erweitert und aktualisiert fortlaufend das Angebot der verfügbaren Modelle. Eine aktuelle Übersicht der verfügbaren Modelle finden Sie auf der Support Seite der GWDG zu Chat AI.

GWDG: Übersicht der verfügbaren Modelle

Die DeepSeek-Modelle sind KI-Sprachmodelle aus China, die für allgemeine Aufgaben entwickelt wurden. Sie bieten eine gute Leistung und unterstützen Reasoning-Funktionalitäten, was sie für komplexe Aufgaben nützlich macht. Allerdings wurde bei diesen Modellen festgestellt, dass die ausgegebenen Texte politisch zensiert werden, wenn es bei den Anfragen um die chinesische Regierung geht.

Um die Modelle effizienter zu gestalten, nutzt DeepSeek das Verfahren der Destillation. Dabei werden aus größeren Modellen kleinere, optimierte Modelle erstellt. Diese bewahren dabei einen Großteil ihrer Argumentations- und Rechenkapazität, während sie gleichzeitig weniger Ressourcen benötigen. Ein Beispiel ist das Modell DeepSeek R1 Distill LLaMa 70B.

Coding-Modelle wie Qwen 2.5 Coder und Codestral 22B sind speziell darauf trainiert, bei Programmieraufgaben zu unterstützen. Sie können Code generieren, bestehende Programme analysieren und Fehler erkennen und beheben. Diese Modelle sind für Entwickler:innen nützlich.