Wie funktioniert der DeepL Übersetzer?

Oft werden wir gefragt, wie es dazu kommt, dass der DeepL Übersetzer häufig besser funktioniert als konkurrierende Systeme großer Internetkonzerne. Dies hat mehrere Gründe. Wie die meisten Übersetzungssysteme übersetzt der DeepL Übersetzer Texte mit Hilfe von künstlichen neuronalen Netzen. Diese Netze werden anhand vieler Millionen übersetzter Texte trainiert. Unsere Forscher haben jedoch viele Verbesserungen an der gesamten Methodik der neuronalen Netze erreichen können, die vor allem in vier Bereichen liegen.

Netzwerkarchitektur

Es ist allgemein bekannt, dass die meisten öffentlich verfügbaren Übersetzungssysteme direkte Abwandlungen der Transformer-Architektur sind. Natürlich enthalten auch die neuronalen Netze von DeepL Teile dieser Architektur, wie beispielsweise Attention-Mechanismen. Allerdings gibt es auch deutliche Unterschiede in der Topologie der Netzwerke, die insgesamt zu einer signifikanten Verbesserung der Übersetzungsqualität gegenüber dem öffentlichen Forschungsstand führen. Diese Unterschiede in der Qualität der Netzwerkarchitektur sehen wir klar, wenn wir intern unsere Architekturen und die besten bekannten Transformer-Architekturen auf den gleichen Daten trainieren und vergleichen.

Trainingsdaten

Die meisten unserer direkten Konkurrenten sind sehr große Internetkonzerne, die jahrelange Erfahrung in der Entwicklung von Webcrawlern haben. Sie haben daher einen deutlichen Vorteil, was die Menge der verfügbaren Trainingsdaten angeht. Wir hingegen legen großen Wert auf die gezielte Akquirierung spezieller Trainingsdaten, welche unserem Netzwerk dabei helfen, eine höhere Übersetzungsqualität zu erzielen. Hierzu haben wir unter anderem spezielle Crawler entwickelt, die automatisiert Übersetzungen im Internet finden und deren Qualität beurteilen.

Trainingsmethodik

In der öffentlichen Forschung werden Trainingsnetzwerke normalerweise im „Supervised Learning“-Verfahren trainiert. Dem Netzwerk werden immer wieder verschiedene Beispiele gezeigt. Das Netzwerk vergleicht seine eigenen Übersetzungen dabei ständig mit den Übersetzungen aus den Trainingsdaten. Wenn es Abweichungen gibt, werden die Gewichte des Netzwerkes entsprechend angepasst. Wir verwenden beim Training der neuronalen Netze auch andere Techniken aus anderen Bereichen des maschinellen Lernens. Auch hierdurch können wir signifikante Verbesserungen erzielen.

Netzwerkgröße

Inzwischen trainieren wir (wie unsere größten Konkurrenten) Übersetzungsnetzwerke mit vielen Milliarden Parametern. Diese Netzwerke sind so groß, dass sie nur verteilt auf sehr großen speziellen Rechenclustern trainiert werden können. Wir legen in der Forschung jedoch großen Wert darauf, dass die Parameter des Netzwerkes sehr effizient genutzt werden. So ist es uns gelungen, auch mit unseren kleineren und schnelleren Netzwerken eine ähnliche Übersetzungsqualität zu erreichen. Wir können daher auch den Nutzern unseres kostenlosen Dienstes eine sehr hohe Übersetzungsqualität anbieten.

Natürlich suchen wir immer weiter nach sehr guten Mathematikern und Informatikern, die Lust haben, die Entwicklung voranzutreiben, den DeepL Übersetzer weiter zu verbessern und weltweit Sprachbarrieren zu überwinden. Wenn auch Du Erfahrung mit der Mathematik und dem Training neuronaler Netze hast, und Du Freude daran hast, an einem weltweit kostenlos genutzten Produkt mitzuarbeiten, dann bewirb Dich gerne bei uns!