Open-Source-Modell einfach erklärt
Open-Source-Modelle sind Sprachmodelle, die ihre Hersteller zum Herunterladen freigeben. Unternehmen können sie auf eigenen Servern oder bei einem Hoster ihrer Wahl betreiben. Die Daten verlassen dann das Unternehmen nicht, und es fallen keine Gebühren pro Anfrage an. Dafür braucht es passende Hardware und jemanden, der den Betrieb übernimmt. Für viele Aufgaben im Mittelstand reichen die offenen Modelle inzwischen aus.
Die bekanntesten Sprachmodelle laufen als Cloud-Dienst: Man schickt die Anfrage an den Anbieter, bekommt die Antwort zurück und zahlt pro Nutzung. Open-Source-Modelle sind die Alternative. Hersteller wie Meta, Mistral oder verschiedene Forschungseinrichtungen geben ihre Modelle zum Herunterladen frei. Wer die passende Hardware hat, betreibt sie selbst, auf eigenen Servern oder bei einem Hoster in Deutschland.
Was dafür spricht
Drei Gründe. Erstens Datenschutz: Keine Anfrage verlässt das Unternehmen, was bei Personaldaten, Verträgen mit Geheimhaltungsklauseln oder Kundenvorgaben ein entscheidender Vorteil sein kann, siehe DSGVO und KI. Zweitens Kosten bei hohem Volumen: Wer täglich hunderttausende Dokumente verarbeitet, zahlt bei Cloud-Diensten entsprechend, beim eigenen Betrieb nur die Hardware. Drittens Unabhängigkeit: Ein Modell, das auf dem eigenen Server liegt, kann der Anbieter nicht abschalten, ändern oder verteuern.
Was dagegen spricht
Die größten Cloud-Modelle sind den offenen bei schwierigen Aufgaben nach wie vor voraus. Für das Auslesen von Belegen, das Sortieren von E-Mails oder einen Wissensassistenten reichen offene Modelle meist aus, für komplexe Analysen nicht immer. Dazu kommt der Betrieb: Server mit Grafikkarten, Updates, Monitoring. Für ein Unternehmen mit drei IT-Mitarbeitern ist das eine echte Last, die man entweder einplant oder über einen Dienstleister abdeckt, siehe Betreuung.
Ein Beispiel aus dem Alltag
Ein Ingenieurbüro verarbeitet Ausschreibungsunterlagen von öffentlichen Auftraggebern, die eine Weitergabe an Dritte ausschließen. Ein Cloud-Dienst schied deshalb aus. Ein offenes Modell auf einem Server im eigenen Rechenzentrum liest die Unterlagen, fasst Anforderungen zusammen und prüft sie gegen das eigene Leistungsverzeichnis. Mit Fine-Tuning auf alte Angebote wurde das Format passend. Die Hardware hat sich innerhalb eines Jahres gegenüber den Cloud-Kosten bezahlt gemacht.
Nächster Schritt
Welcher Prozess kostet Sie die meiste Zeit?
Erzählen Sie es in 30 Minuten. Sie bekommen eine ehrliche Einschätzung, ob KI dort hilft und was der erste Schritt wäre.