Οι ερευνητές έχουν κυκλοφορήσει ένα σύστημα νευρωνικού δικτύου ανοιχτού κώδικα για την εκτέλεση γλωσσικών μεταφράσεων που θα μπορούσε να είναι μια εναλλακτική λύση για ιδιόκτητες υπηρεσίες μετάφρασης μαύρου κουτιού.
Το Open Source Neural Machine Translation (OpenNMT) συγχωνεύει την εργασία ερευνητών στο Harvard με συνεισφορές του δημιουργού λογισμικού μηχανικής μετάφρασης Systran. Τρέχει στο πλαίσιο επιστημονικής πληροφορικής Torch, το οποίο χρησιμοποιείται επίσης από το Facebook για τα έργα μηχανικής εκμάθησης.
Στην ιδανική περίπτωση, το OpenNMT θα μπορούσε να χρησιμεύσει ως ανοιχτή εναλλακτική λύση σε έργα κλειστού κώδικα, όπως το Google Translate, το οποίο πρόσφατα έλαβε μια σημαντική αλλαγή νευρωνικών δικτύων για τη βελτίωση της ποιότητας της μετάφρασής του.
Αλλά οι αλγόριθμοι δεν είναι το δύσκολο κομμάτι. έρχεται με καλές πηγές δεδομένων για να υποστηρίξει τη διαδικασία μετάφρασης, όπου η Google και οι άλλοι γίγαντες cloud που παρέχουν μηχανική μετάφραση ως υπηρεσία έχουν το προβάδισμα.
Μιλώντας σε γλώσσες
Το OpenNMT, το οποίο χρησιμοποιεί τη γλώσσα Lua για διασύνδεση με το Torch, λειτουργεί όπως και άλλα προϊόντα της κατηγορίας του. Ο χρήστης προετοιμάζει ένα σύνολο δεδομένων που αντιπροσωπεύει τα δύο ζεύγη γλωσσών που πρόκειται να μεταφραστούν - συνήθως το ίδιο κείμενο και στις δύο γλώσσες με αυτό που μεταφράζεται από έναν ανθρώπινο μεταφραστή. Μετά την εκπαίδευση του OpenNMT σε αυτά τα δεδομένα, ο χρήστης μπορεί στη συνέχεια να αναπτύξει το μοντέλο που προκύπτει και να το χρησιμοποιήσει για τη μετάφραση κειμένων.
Το Torch μπορεί να επωφεληθεί από την επιτάχυνση GPU, πράγμα που σημαίνει ότι η διαδικασία εκπαίδευσης για μοντέλα OpenNMT μπορεί να επιταχυνθεί πολύ σε οποιοδήποτε σύστημα εξοπλισμένο με GPU. Ωστόσο, η διαδικασία κατάρτισης μπορεί να διαρκέσει πολύ - «μερικές φορές πολλές εβδομάδες». Όμως, η διαδικασία εκπαίδευσης μπορεί να πραγματοποιηθεί στιγμιότυπα και να συνεχιστεί κατόπιν ζήτησης, εάν χρειαστεί. Εάν θέλετε να χρησιμοποιήσετε το εκπαιδευμένο μοντέλο σε CPU και όχι σε GPU, θα πρέπει να μετατρέψετε το μοντέλο σε λειτουργία CPU. Το OpenNMT παρέχει ένα εργαλείο για να κάνει ακριβώς αυτό.
Μια ζωντανή επίδειξη που παρέχεται από τη Systran ισχυρίζεται ότι χρησιμοποιεί το OpenNMT σε συνδυασμό με τη δουλειά της Systran. Για κοινά ζεύγη γλωσσών όπως Αγγλικά / Γαλλικά, οι μεταφράσεις είναι αρκετά ακριβείς. Για ζευγάρια όπου υπάρχει πιθανότατα μικρότερο σύνολο κειμένων ή όπου τα ζεύγη γλωσσών δεν χαρτογραφούνται με ακρίβεια το ένα το άλλο - ας πούμε, Αγγλικά / Ιαπωνικά - οι μεταφράσεις είναι λίγο πιο στιβαρές και ανακριβείς. Σε ένα δείγμα ιαπωνικής πρότασης, το επίδειγμα Systran έκανε λάθος τη λέξη «γλάροι» στα ιαπωνικά για «κρεμασμένα ειλητάρια». Η Μετάφραση Google το μετέφρασε σωστά.
Λέξεις, λέξεις, λέξεις
Το πιο κρίσιμο στοιχείο που δεν παρέχει ακόμη το OpenNMT είναι τα προκαθορισμένα δεδομένα μοντέλου γλώσσας. Ένας σύνδεσμος προς παραδείγματα μοντέλων στον ιστότοπο GitHub για το έργο προκαλεί αυτήν τη στιγμή σφάλμα. Πιθανώς στο χρόνο αυτό θα περιλαμβάνει δείγματα δεδομένων που μπορούν να χρησιμοποιηθούν για τη συγκριτική αξιολόγηση του συστήματος ή να αποκτήσουν μια αίσθηση για το πώς λειτουργεί η διαδικασία εκπαίδευσης και ανάπτυξης. Αλλά δεν θα περιλαμβάνει πιθανώς δεδομένα που μπορούν να χρησιμοποιηθούν σε περιβάλλον παραγωγής.
Αυτό περιορίζει το πόσο χρήσιμο είναι το OpenNMT, αφού τα δεδομένα του μοντέλου είναι τουλάχιστον εξίσου σημαντικά για τη μηχανική μετάφραση, όπως και οι ίδιοι οι αλγόριθμοι. Η μετάφραση μεταξύ ζευγών γλωσσών απαιτεί παράλληλη εταιρεία ή κείμενα και στις δύο γλώσσες που ταιριάζουν μεταξύ τους σε επίπεδο φράσης-φράσης-φράσης-φράσης-φράσης και μπορούν να εκπαιδευτούν για να παράγουν μοντέλα σε προϊόντα όπως το OpenNMT.
Πολλές εταιρείες είναι ελεύθερα διαθέσιμες, αλλά απαιτούν το cobbling μαζί με το χέρι για να είναι χρήσιμες στον μέσο προγραμματιστή. Προμηθευτές όπως η Google - και η IBM, με το σύστημα Μεταφραστής Γλωσσών στο Watson - έχουν ένα πλεονέκτημα στο ότι μπορούν εύκολα να δημιουργήσουν εταιρείες με τις άλλες υπηρεσίες τους. Το Google μπορεί να συλλέγει αυτόματα τεράστιες ποσότητες συνεχώς ανανεωμένων γλωσσικών δεδομένων μέσω της μηχανής αναζήτησης.
Ωστόσο, το OpenNMT είναι σίγουρα χρήσιμο για όσους θέλουν να δημιουργήσουν νέες λειτουργίες πάνω από τον κώδικα μοντελοποίησης και εκπαίδευσης του OpenNMT και δεν θέλουν να εξαρτώνται από έναν αλγόριθμο πίσω από το API όπως το Google για να το κάνει.
