Wie funktioniert der DeepL Übersetzer?

Oft werden wir gefragt, wie es dazu kommt, dass der DeepL Übersetzer häufig besser funktioniert als konkurrierende Systeme großer Internetkonzerne. Dies hat mehrere Gründe. Wie die meisten Übersetzungssysteme übersetzt der DeepL Übersetzer Texte mit Hilfe von künstlichen neuronalen Netzen. Diese Netze werden anhand vieler Millionen übersetzter Texte trainiert. Unsere Forscher haben jedoch viele Verbesserungen an der gesamten Methodik der neuronalen Netze erreichen können, die vor allem in vier Bereichen liegen.

Netzwerkarchitektur

Es ist allgemein bekannt, dass die meisten öffentlich verfügbaren Übersetzungssysteme direkte Abwandlungen der Transformer-Architektur sind. Natürlich enthalten auch die neuronalen Netze von DeepL Teile dieser Architektur, wie beispielsweise Attention-Mechanismen. Allerdings gibt es auch deutliche Unterschiede in der Topologie der Netzwerke, die insgesamt zu einer signifikanten Verbesserung der Übersetzungsqualität gegenüber dem öffentlichen Forschungsstand führen. Diese Unterschiede in der Qualität der Netzwerkarchitektur sehen wir klar, wenn wir intern unsere Architekturen und die besten bekannten Transformer-Architekturen auf den gleichen Daten trainieren und vergleichen.

Trainingsdaten

Die meisten unserer direkten Konkurrenten sind sehr große Internetkonzerne, die jahrelange Erfahrung in der Entwicklung von Webcrawlern haben. Sie verfügen daher über einen deutlichen Vorteil hinsichtlich der Menge der verfügbaren Trainingsdaten. Wir hingegen legen großen Wert auf die gezielte Beschaffung spezieller Trainingsdaten, die unserem Netzwerk zu einer höheren Übersetzungsqualität verhelfen. Hierzu haben wir unter anderem spezielle Crawler entwickelt, die automatisiert Übersetzungen im Internet finden und deren Qualität beurteilen.

Trainingsmethodik

In der öffentlichen Forschung werden Trainingsnetzwerke normalerweise im „Supervised Learning“-Verfahren trainiert. Dem Netzwerk werden immer wieder verschiedene Beispiele gezeigt. Das Netzwerk vergleicht seine eigenen Übersetzungen dabei ständig mit den Übersetzungen aus den Trainingsdaten. Bei Abweichungen werden die Gewichte des Netzes entsprechend angepasst. Beim Trainieren der neuronalen Netze setzen wir auch andere Techniken aus anderen Bereichen des maschinellen Lernens ein. Auch hierdurch können wir signifikante Verbesserungen erzielen.

Netzwerkgröße

Inzwischen trainieren wir (wie unsere größten Konkurrenten) Übersetzungsnetzwerke mit vielen Milliarden Parametern. Diese Netzwerke sind so umfangreich, dass sie nur dezentral auf sehr großen dedizierten Rechenclustern trainiert werden können. In unserer Forschung legen wir jedoch großen Wert darauf, dass die Parameter des Netzwerks sehr effizient genutzt werden. So ist es uns gelungen, auch mit unseren kleineren und schnelleren Netzwerken eine ähnliche Übersetzungsqualität zu erreichen. Wir können daher auch den Nutzern unseres kostenlosen Dienstes eine sehr hohe Übersetzungsqualität anbieten.

Natürlich suchen wir immer weiter nach sehr guten Mathematikern und Informatikern, die Lust haben, die Entwicklung voranzutreiben, den DeepL Übersetzer weiter zu verbessern und weltweit Sprachbarrieren zu überwinden. Sollten Sie auch Erfahrung mit Mathematik und dem Trainieren neuronaler Netze haben und es Ihnen Freude bereiten, an einem Produkt zu arbeiten, das weltweit kostenlos genutzt wird, bewerben Sie sich bitte bei DeepL.