Evaluationsbericht des Fraunhofer Instituts

Test Personal Translator

Das renommierte Fraunhofer-Institut für Arbeitswirtschaft und Organisation IAO hat den Personal Translator ausführlich auf seine Effizienz und Handhabung getestet. Dazu traten 40 Kandidatinnen und Kandidaten mit unterschiedlichen Englischkenntnissen an, um Sachtexte und Geschäftsbriefe einmal mit Unterstützung des Personal Translator und einmal nur mit Wörterbuch zu übersetzen.

Zusammenfassung des Anwendertests
1. Ziele des Tests
2. Operationalisierung der gemessenen Variablen
3. Ergebnisse

Zusammenfassung des Anwendertests

Nach Tests von einschlägigen Fachzeitschriften avancierte das Übersetzungsprogramm Personal Translator (PT) innerhalb von wenigen Jahren zur besten Software auf dem Markt für automatische Übersetzungen. Um zu prüfen, inwiefern mit Hilfe des Personal Translator eine Steigerung der Qualität und der Effizienz gegenüber einer Übersetzung mit einem herkömmlichen Wörterbuch erreicht werden kann, führte das Fraunhofer IAO, Marktstrategieteam Usability Engineering, einen Usability Test mit potenziellen Anwendern durch.

1. Ziele des Tests

Im Mittelpunkt des Tests stand die Frage, inwiefern der Personal Translator im Vergleich zu einem herkömmlichen Wörterbuch (Papierform) die Erledigung typischer Anwenderaufgaben unterstützt. Diese typischen Aufgaben umfassten:

  • Übersetzung englischsprachiger Texte ins Deutsche
  • Erstellung englischsprachiger Texte
  • Übersetzung deutschsprachiger Texte ins Englische

Die untersuchten Fragestellungen lauteten im Einzelnen (jeweils im Vergleich zu der Verwendung eines Wörterbuchs):

  • Kann der Aufwand (Zeit und andere Ressourcen) der Bearbeitung der o.g. Aufgaben durch die Verwendung des PT gesenkt werden?
  • Kann die Produktivität (Zahl der Wörter pro Zeiteinheit) durch die Verwendung des PT gesteigert werden?
  • Kann bei der Bearbeitung dieser o.g. Aufgaben durch die Verwendung des PT die Qualität des Arbeitsergebnisses verbessert werden?
  • Kann die Freude am Arbeiten bei den o.g. Aufgaben durch die Verwendung des PT gesteigert werden?

Damit werden gemäß ISO 9241-11 die drei wesentlichen Usability-Aspekte eines interaktiven Softwareprodukts evaluiert: Es wurde untersucht, mit welcher Effektivität, Effizienz und Zufriedenheit (ISO 9241-11, ISO, 1996) die Anwender unter Zuhilfenahme des PT Texte übersetzen und erstellen können. Zusätzlich wurde erhoben, ob der PT zu einer Zeitersparnis und einer Produktivitätssteigerung führt. Außerdem war von Interesse, in welchem Ausmaß der PT den Benutzern bei bestimmtem Vorwissen und unterschiedlichen Textsorten zu einem verbesserten Ergebnis verhalf. Darüber hinaus wurden Optimierungsempfehlungen für die Gestaltung der Übersetzungssoftware abgeleitet.

2. Operationalisierung der gemessenen Variablen

Effektivität kennzeichnet die Qualität der Aufgabenerledigung. Zur Operationalisierung der Effektivität wurden die Arbeitsergebnisse der Probanden von vier Englischlehrern unabhängig voneinander nach der Notengebung der Oberstufe (0-15 Punkte) bewertet. Um bei den Lehrkräften ergebnisverfälschende Hypothesen über die Herkunft der Ergebnisse zu vermeiden, erfolgte die Beurteilung im Blindverfahren. D.h. die Lehrer wussten nicht, dass es sich bei der Untersuchung um eine Evaluation des PT handelt. Sie kannten weder die Anzahl der Versuchspersonen noch wussten sie, dass sie von jeder Versuchsperson zwei Texte bekommen. Nach dem Test wurden alle Texte durchnummeriert, so dass zwar die Versuchsleitung die Zugehörigkeit der Texte bestimmen konnte, die Lehrer jedoch keinerlei Anhaltspunkte darüber hatten, von wem und wie die Texte entstanden waren. Ihnen wurde lediglich mitgeteilt, dass verschiedene Übersetzungshilfen verglichen werden sollten.

Effizienz als zweites Kriterium der Usability ist definiert als die Effektivität im Verhältnis zum benötigten Aufwand: bei wachsendem Aufwand sinkt die Effizienz. Die Bestimmung des Aufwands erfolgte sowohl durch objektive als auch durch subjektive Kenngrößen. Als objektiv messbarer Wert ging die zur Fertigstellung der Aufgabe benötigte Zeit in die Bewertung ein. Subjektive Variablen waren die Einschätzungen der Testpersonen auf zwei Größenschätzungs-Skalen (0-100) bezüglich Anstrengung und Zeitaufwand.

Die Zufriedenheit mit der Anwendung wird durch eine subjektive Skala abgedeckt: die Testperson gab an, wie viel Spaß sie bei der Aufgabenerledigung erlebte.

3. Ergebnisse

  • Der Einsatz des Personal Translator führte zu einer durchschnittlichen Zeitersparnis von 41,4% gegenüber der Bearbeitungszeit mithilfe eines herkömmlichen Wörterbuchs.

Prozentuale Zeitersparnis durch Personal Translator

  • Die Produktivitätssteigerung bei Verwendung des Personal Translator betrug 164,5%.
  • Die Qualität der übersetzten Texte war mit dem Personal Translator geringfügig besser; dies war aber nicht statistisch signifikant.
  • Die Effizienz (Qualität in Relation zum Aufwand) wurde durch den PT signifikant erhöht.
  • Die subjektiven Bewertungen der Probanden ergab, dass die Arbeit mit dem Personal Translator als weniger anstrengend und zeitaufwändig empfunden wurde und mehr Spaß machte als das Übersetzen oder Texte erstellen mit einem normalen Wörterbuch.

Zum ausführlichen Anwendertest…