Εξήγησε ημι-εποπτευόμενη μάθηση

Στην επιστολή του μετόχου του 2017 για το Amazon, ο Jeff Bezos έγραψε κάτι ενδιαφέρον για την Alexa, τον έξυπνο βοηθό της Amazon με φωνή:

Στις ΗΠΑ, στο Ηνωμένο Βασίλειο και στη Γερμανία, βελτιώσαμε την κατανόηση της ομιλίας της Alexa κατά περισσότερο από 25% τους τελευταίους 12 μήνες μέσω βελτιώσεων στα στοιχεία μηχανικής εκμάθησης της Alexa και της χρήσης ημι-εποπτευόμενων τεχνικών μάθησης. (Αυτές οι ημι-εποπτευόμενες τεχνικές μάθησης μείωσαν τον απαιτούμενο αριθμό δεδομένων για την επίτευξη της ίδιας βελτίωσης ακρίβειας κατά 40 φορές!)

Δεδομένων αυτών των αποτελεσμάτων, ίσως είναι ενδιαφέρον να δοκιμάσουμε ημι-εποπτευόμενη μάθηση στα δικά μας προβλήματα ταξινόμησης. Αλλά τι είναι η ημι-εποπτευόμενη μάθηση; Ποια είναι τα πλεονεκτήματα και τα μειονεκτήματά του; Πώς μπορούμε να το χρησιμοποιήσουμε;

Τι είναι η ημι-εποπτευόμενη μάθηση;

Όπως μπορείτε να περιμένετε από το όνομα, η ημι-εποπτευόμενη μάθηση είναι ενδιάμεση μεταξύ της εποπτευόμενης μάθησης και της μη εποπτευόμενης μάθησης. Η εποπτευόμενη μάθηση ξεκινά με δεδομένα εκπαίδευσης που φέρουν ετικέτες με τις σωστές απαντήσεις (τιμές στόχου). Μετά τη διαδικασία εκμάθησης, καταλήγετε σε ένα μοντέλο με ένα συντονισμένο σύνολο βαρών, το οποίο μπορεί να προβλέψει απαντήσεις για παρόμοια δεδομένα που δεν έχουν ήδη επισημανθεί.

Η ημι-εποπτευόμενη μάθηση χρησιμοποιεί δεδομένα με ετικέτες και χωρίς ετικέτες για να ταιριάζει σε ένα μοντέλο. Σε ορισμένες περιπτώσεις, όπως η Alexa, η προσθήκη των δεδομένων χωρίς ετικέτα βελτιώνει την ακρίβεια του μοντέλου. Σε άλλες περιπτώσεις, τα δεδομένα χωρίς ετικέτα μπορούν να κάνουν το μοντέλο χειρότερο. διαφορετικοί αλγόριθμοι έχουν ευπάθειες σε διαφορετικά χαρακτηριστικά δεδομένων, όπως θα συζητήσω παρακάτω.

Γενικά, η προσθήκη ετικετών στα δεδομένα κοστίζει χρήματα και απαιτεί χρόνο. Αυτό δεν είναι πάντα ένα πρόβλημα, καθώς ορισμένα σύνολα δεδομένων έχουν ήδη ετικέτες. Αλλά αν έχετε πολλά δεδομένα, μόνο μερικά από τα οποία έχουν επισημανθεί, τότε η ημι-εποπτευόμενη μάθηση είναι μια καλή τεχνική για να δοκιμάσετε.

Ημι-εποπτευόμενοι αλγόριθμοι μάθησης

Η ημι-εποπτευόμενη μάθηση ξεκινά τουλάχιστον 15 χρόνια, πιθανώς περισσότερα. Ο Jerry Zhu του Πανεπιστημίου του Ουισκόνσιν έγραψε μια βιβλιογραφική έρευνα το 2005. Η ημι-εποπτευόμενη μάθηση είχε μια επανεμφάνιση τα τελευταία χρόνια, όχι μόνο στο Amazon, επειδή μειώνει το ποσοστό σφάλματος σε σημαντικά σημεία αναφοράς.

Ο Sebastian Ruder της DeepMind έγραψε μια δημοσίευση ιστολογίου τον Απρίλιο του 2018 για μερικούς από τους ημι-εποπτευόμενους αλγόριθμους μάθησης, αυτούς που δημιουργούν ετικέτες μεσολάβησης. Αυτά περιλαμβάνουν την αυτο-κατάρτιση, την εκμάθηση πολλαπλών προβολών και την αυτοσυναρμολόγηση.

Η αυτοεκπαίδευση χρησιμοποιεί τις προβλέψεις ενός μοντέλου για δεδομένα χωρίς ετικέτα για προσθήκη στο σύνολο δεδομένων με ετικέτα. Ορίζετε ουσιαστικά κάποιο όριο για το επίπεδο εμπιστοσύνης μιας πρόβλεψης, συχνά 0,5 ή υψηλότερο, πάνω από το οποίο πιστεύετε ότι η πρόβλεψη και την προσθέτετε στο σύνολο δεδομένων με ετικέτα. Συνεχίζετε την επανεκπαίδευση του μοντέλου έως ότου δεν υπάρχουν άλλες προβλέψεις που να είναι σίγουρες.

Αυτό θέτει το ερώτημα του πραγματικού μοντέλου που θα χρησιμοποιηθεί για την εκπαίδευση. Όπως και στα περισσότερα μηχανήματα μάθησης, ίσως θέλετε να δοκιμάσετε κάθε λογικό υποψήφιο μοντέλο με την ελπίδα να βρείτε ένα μοντέλο που να λειτουργεί καλά.

Η αυτοεκπαίδευση είχε μικτή επιτυχία. Το μεγαλύτερο ελάττωμα είναι ότι το μοντέλο δεν είναι σε θέση να διορθώσει τα δικά του λάθη: μια υψηλή εμπιστοσύνη (αλλά λανθασμένη) πρόβλεψη, ας πούμε, μια ακραία, μπορεί να καταστρέψει ολόκληρο το μοντέλο.

Η εκπαίδευση πολλαπλών προβολών εκπαιδεύει διαφορετικά μοντέλα σε διαφορετικές προβολές των δεδομένων, τα οποία μπορεί να περιλαμβάνουν διαφορετικά σύνολα χαρακτηριστικών, διαφορετικές αρχιτεκτονικές μοντέλων ή διαφορετικά υποσύνολα των δεδομένων. Υπάρχουν διάφοροι αλγόριθμοι εκπαίδευσης πολλαπλών προβολών, αλλά ένας από τους πιο γνωστούς είναι η τρι-προπόνηση. Ουσιαστικά, δημιουργείτε τρία διαφορετικά μοντέλα. κάθε φορά που δύο μοντέλα συμφωνούν στην ετικέτα ενός σημείου δεδομένων, αυτή η ετικέτα προστίθεται στο τρίτο μοντέλο. Όπως και με την αυτο-εκπαίδευση, σταματάτε όταν δεν προστίθενται πλέον ετικέτες σε κανένα από τα μοντέλα.

Η αυτοσυναρμολόγηση συνήθως χρησιμοποιεί ένα μόνο μοντέλο με πολλές διαφορετικές διαμορφώσεις. Στη μέθοδο του δικτύου κλίμακας, η πρόβλεψη για ένα καθαρό παράδειγμα χρησιμοποιείται ως ετικέτα μεσολάβησης για ένα τυχαία διαταραγμένο παράδειγμα, με σκοπό την ανάπτυξη χαρακτηριστικών που είναι ισχυρά στον θόρυβο.

Το σεμινάριο του Jerry Zhu για το 2007 εξετάζει επίσης έναν αριθμό άλλων αλγορίθμων. Αυτά περιλαμβάνουν γενετικά μοντέλα (όπως αυτά που προϋποθέτουν μια κατανομή Gauss για κάθε τάξη), ημι-εποπτευόμενα μηχανήματα φορέα υποστήριξης και αλγόριθμους βάσει γραφημάτων.

Ημι-εποπτευόμενη μάθηση στο cloud

Η ημι-εποπτευόμενη μάθηση μπαίνει σιγά-σιγά στις βασικές υπηρεσίες μηχανικής μάθησης. Για παράδειγμα, το Amazon SageMaker Ground Truth χρησιμοποιεί το Amazon Mechanical Turk για χειροκίνητη επισήμανση και καθορισμό ορίου μέρους ενός συνόλου εικόνων και χρησιμοποιεί εκπαίδευση νευρωνικών δικτύων για την επισήμανση του υπόλοιπου συνόλου εικόνων.

Παρόμοια προγράμματα ημι-εποπτευόμενης μάθησης μπορούν να χρησιμοποιηθούν για άλλα είδη ημι-εποπτευόμενης μάθησης, συμπεριλαμβανομένης της επεξεργασίας φυσικής γλώσσας, της ταξινόμησης και της παλινδρόμησης σε διάφορες υπηρεσίες. Ωστόσο, θα πρέπει να γράψετε τον δικό σας κώδικα κόλλας για τον ημι-εποπτευόμενο αλγόριθμο στα περισσότερα από αυτά.

—

Διαβάστε περισσότερα για τη μηχανική εκμάθηση: