Μια υποκατηγορία της μηχανικής μάθησης, η βαθιά μάθηση χρησιμοποιεί πολυεπίπεδη νευρωνικά δίκτυα για να αυτοματοποιήσει ιστορικά δύσκολες μηχανικές εργασίες - όπως αναγνώριση εικόνας, επεξεργασία φυσικής γλώσσας (NLP) και μηχανική μετάφραση - σε κλίμακα.
Το TensorFlow, το οποίο κυκλοφόρησε από την Google το 2015, ήταν το πιο δημοφιλές πλαίσιο βαθιάς μάθησης ανοιχτού κώδικα τόσο για έρευνα όσο και για επιχειρήσεις. Ωστόσο, η PyTorch, η οποία εμφανίστηκε από το Facebook το 2016, έφτασε γρήγορα, χάρη στις βελτιώσεις στην ευκολία χρήσης και την ανάπτυξη που βασίζονται στην κοινότητα για ένα διευρυνόμενο φάσμα περιπτώσεων χρήσης.
Η PyTorch βλέπει ιδιαίτερα ισχυρή υιοθέτηση στην αυτοκινητοβιομηχανία - όπου μπορεί να εφαρμοστεί σε πιλοτικά αυτόνομα συστήματα οδήγησης όπως τα Tesla και Lyft Level 5. Το πλαίσιο χρησιμοποιείται επίσης για την ταξινόμηση περιεχομένου και τις προτάσεις σε εταιρείες πολυμέσων και για την υποστήριξη ρομπότ σε βιομηχανικές εφαρμογές.
Ο Joe Spisak, επικεφαλής προϊόντων για την τεχνητή νοημοσύνη στο Facebook AI, είπε ότι παρόλο που είναι ικανοποιημένος από την αύξηση της υιοθέτησης της PyTorch από την επιχείρηση, πρέπει να γίνουν ακόμη πολλά για να επιτευχθεί ευρύτερη υιοθέτηση της βιομηχανίας.
«Το επόμενο κύμα υιοθέτησης θα έρθει με την ενεργοποίηση της διαχείρισης κύκλου ζωής, των MLOps και των αγωγών Kubeflow και της κοινότητας γύρω από αυτό», είπε. "Για όσους βρίσκονται στο αρχικό ταξίδι, τα εργαλεία είναι αρκετά καλά, χρησιμοποιώντας διαχειριζόμενες υπηρεσίες και κάποιο ανοιχτό λογισμικό με κάτι σαν το SageMaker στο AWS ή το Azure ML για να ξεκινήσετε."
Disney: Προσδιορισμός κινούμενων προσώπων σε ταινίες
Από το 2012, μηχανικοί και επιστήμονες δεδομένων στο γίγαντα των μέσων μαζικής ενημέρωσης Disney κατασκευάζουν αυτό που η εταιρεία ονομάζει Content Genome, ένα γράφημα γνώσεων που συγκεντρώνει μεταδεδομένα περιεχομένου για να τροφοδοτήσει εφαρμογές αναζήτησης και εξατομίκευσης που βασίζονται σε μηχανική μάθηση σε όλη τη μαζική βιβλιοθήκη περιεχομένου της Disney.
«Αυτά τα μεταδεδομένα βελτιώνουν τα εργαλεία που χρησιμοποιούνται από τους αφηγητές της Disney για την παραγωγή περιεχομένου. εμπνέει την επαναληπτική δημιουργικότητα στην αφήγηση. δυναμικές εμπειρίες χρηστών μέσω μηχανών προτάσεων, ψηφιακής πλοήγησης και ανακάλυψης περιεχομένου. και να ενεργοποιήσει την επιχειρηματική ευφυΐα », έγραψε οι προγραμματιστές της Disney Miquel Àngel Farré, Anthony Accardo, Marc Junyent, Monica Alfaro και Cesc Guitart σε μια δημοσίευση ιστολογίου τον Ιούλιο.
Πριν από αυτό θα μπορούσε να συμβεί, η Disney έπρεπε να επενδύσει σε ένα τεράστιο έργο σχολιασμού περιεχομένου, στρέφοντας στους επιστήμονες δεδομένων της για να εκπαιδεύσει έναν αυτοματοποιημένο αγωγό προσθήκης ετικετών χρησιμοποιώντας μοντέλα βαθιάς μάθησης για αναγνώριση εικόνων για τον εντοπισμό τεράστιων ποσοτήτων εικόνων ανθρώπων, χαρακτήρων και τοποθεσιών.
Οι μηχανικοί της Disney ξεκίνησαν πειραματίζοντας με διάφορα πλαίσια, συμπεριλαμβανομένου του TensorFlow, αλλά αποφάσισαν να ενοποιηθούν γύρω από το PyTorch το 2019. Οι μηχανικοί μετατόπισαν από ένα συμβατικό ιστόγραμμα περιγραφής χαρακτηριστικών διαβάθμισης (HOG) και το δημοφιλές μοντέλο φορέα υποστήριξης (SVM) σε μια έκδοση του η αρχιτεκτονική ανίχνευσης αντικειμένων που ονομάστηκε περιοχές με συνελικτικά νευρικά δίκτυα (R-CNN). Το τελευταίο ήταν πιο ευνοϊκό για το χειρισμό των συνδυασμών ζωντανής δράσης, κινούμενων σχεδίων και οπτικών εφέ που είναι κοινά στο περιεχόμενο της Disney.
«Είναι δύσκολο να προσδιορίσουμε τι είναι ένα πρόσωπο σε ένα κινούμενο σχέδιο, οπότε στρέψαμε σε μεθόδους βαθιάς μάθησης χρησιμοποιώντας έναν ανιχνευτή αντικειμένων και χρησιμοποιήσαμε τη μάθηση μεταφοράς», εξήγησε η μηχανική της Disney Research, Monica Alfaro. Μετά την επεξεργασία μερικών χιλιάδων προσώπων, το νέο μοντέλο αναγνώριζε ήδη τα πρόσωπα και στις τρεις περιπτώσεις χρήσης. Ξεκίνησε την παραγωγή τον Ιανουάριο του 2020.
«Χρησιμοποιούμε μόνο ένα μοντέλο τώρα για τους τρεις τύπους προσώπων και αυτό είναι υπέροχο για να τρέξουμε μια ταινία Marvel όπως το Avengers, όπου πρέπει να αναγνωρίσει τόσο τον Iron Man όσο και τον Tony Stark, ή οποιονδήποτε χαρακτήρα φοράει μάσκα», είπε.
Καθώς οι μηχανικοί ασχολούνται με τόσο μεγάλο όγκο δεδομένων βίντεο για να εκπαιδεύσουν και να τρέξουν το μοντέλο παράλληλα, ήθελαν επίσης να τρέχουν σε ακριβές GPU υψηλής απόδοσης όταν μετακινούνται στην παραγωγή.
Η αλλαγή από τους CPU επέτρεψε στους μηχανικούς να εκπαιδεύσουν και να ενημερώσουν τα μοντέλα γρηγορότερα. Επιτάχυνε επίσης τη διανομή των αποτελεσμάτων σε διάφορες ομάδες σε όλη τη Disney, μειώνοντας τον χρόνο επεξεργασίας από περίπου μία ώρα για μια ταινία μεγάλου μήκους, έως τα αποτελέσματα σε πέντε έως 10 λεπτά σήμερα.
"Ο ανιχνευτής αντικειμένων TensorFlow έφερε προβλήματα μνήμης στην παραγωγή και ήταν δύσκολο να ενημερωθεί, ενώ ο PyTorch είχε τον ίδιο ανιχνευτή αντικειμένων και το Faster-RCNN, οπότε ξεκινήσαμε να χρησιμοποιούμε το PyTorch για τα πάντα", δήλωσε ο Alfaro.
Η αλλαγή από το ένα πλαίσιο στο άλλο ήταν εκπληκτικά απλή και για την ομάδα μηχανικών. «Η αλλαγή [σε PyTorch] ήταν εύκολη επειδή είναι όλα ενσωματωμένη, συνδέετε μόνο ορισμένες λειτουργίες και μπορείτε να ξεκινήσετε γρήγορα, οπότε δεν είναι μια απότομη καμπύλη μάθησης», δήλωσε ο Alfaro.
Όταν συνάντησαν οποιαδήποτε προβλήματα ή σημεία συμφόρησης, η ζωντανή κοινότητα PyTorch ήταν στη διάθεσή σας για βοήθεια.
Τεχνολογία Blue River: Ρομπότ που σκοτώνουν ζιζάνια
Η Blue River Technology έχει σχεδιάσει ένα ρομπότ που χρησιμοποιεί έναν ενοχλητικό συνδυασμό ψηφιακής ανίχνευσης, ενσωματωμένων φωτογραφικών μηχανών και οπτικών υπολογιστών για να ψεκάζει ζιζάνια με ζιζανιοκτόνο, ενώ αφήνει τις καλλιέργειες μόνες σε σχεδόν πραγματικό χρόνο, βοηθώντας τους αγρότες να εξοικονομούν πιο αποτελεσματικά ακριβά και δυνητικά περιβαλλοντικά επιβλαβή ζιζανιοκτόνα.
Η εταιρεία Sunnyvale, που εδρεύει στην Καλιφόρνια, τράβηξε το μάτι του κατασκευαστή βαρέων εξοπλισμών John Deere το 2017, όταν αποκτήθηκε για 305 εκατομμύρια δολάρια, με στόχο την ενσωμάτωση της τεχνολογίας στον γεωργικό εξοπλισμό της.
Οι ερευνητές του Blue River πειραματίστηκαν με διάφορα πλαίσια βαθιάς μάθησης, ενώ προσπαθούσαν να εκπαιδεύσουν μοντέλα οράματος υπολογιστών για να αναγνωρίσουν τη διαφορά μεταξύ ζιζανίων και καλλιεργειών, μια τεράστια πρόκληση όταν ασχολείστε με βαμβακερά φυτά, τα οποία έχουν μια ατυχής ομοιότητα με τα ζιζάνια.
Οι εξαιρετικά εκπαιδευμένοι γεωπόνοι καταρτίστηκαν για τη διεξαγωγή χειροκίνητων εργασιών επισήμανσης εικόνων και για την εκπαίδευση ενός συνελικτικού νευρικού δικτύου (CNN) χρησιμοποιώντας το PyTorch «για να αναλύσουν κάθε πλαίσιο και να παράγουν έναν ακριβή χάρτη pixel για το πού βρίσκονται οι καλλιέργειες και τα ζιζάνια», Chris Padwick, διευθυντής υπολογιστών όραμα και μηχανική μάθηση στο Blue River Technology, έγραψε σε ένα blog post τον Αύγουστο.
«Όπως και άλλες εταιρείες, δοκιμάσαμε το Caffe, το TensorFlow και μετά το PyTorch», είπε ο Padwick. «Λειτουργεί σχεδόν έξω από το κουτί για εμάς. Δεν είχαμε καθόλου αναφορές σφαλμάτων ή κανένα σφάλμα αποκλεισμού. Στο κατανεμημένο υπολογισμό λάμπει πραγματικά και είναι ευκολότερο στη χρήση από το TensorFlow, το οποίο για παραλληλισμούς δεδομένων ήταν αρκετά περίπλοκο. "
Ο Padwick λέει ότι η δημοτικότητα και η απλότητα του πλαισίου PyTorch του δίνει ένα πλεονέκτημα όταν πρόκειται να αυξήσει γρήγορα νέες προσλήψεις. Τούτου λεχθέντος, ο Πάντγουικ ονειρεύεται έναν κόσμο όπου «οι άνθρωποι αναπτύσσονται σε ό, τι είναι άνετα. Μερικοί όπως το Apache MXNet ή το Darknet ή το Caffe για έρευνα, αλλά στην παραγωγή πρέπει να είναι σε μία γλώσσα και το PyTorch έχει ό, τι χρειαζόμαστε για να είμαστε επιτυχημένοι. "
Datarock: Ανάλυση εικόνας με βάση το cloud για την εξορυκτική βιομηχανία
Ιδρύθηκε από μια ομάδα γεωεπιστημόνων, η Αυστραλιανή εταιρεία Datarock εφαρμόζει τεχνολογία όρασης υπολογιστών στη βιομηχανία εξόρυξης. Πιο συγκεκριμένα, τα μοντέλα βαθιάς μάθησης βοηθούν τους γεωλόγους να αναλύσουν δείγματα βασικών εικόνων γρηγορότερα από πριν.
Συνήθως, ένας γεωλόγος θα έβλεπε πάνω από αυτά τα δείγματα εκατοστό κατά εκατοστό για να εκτιμήσει την ορυκτολογία και τη δομή, ενώ οι μηχανικοί θα έψαχναν φυσικά χαρακτηριστικά όπως σφάλματα, κατάγματα και ποιότητα βράχου. Αυτή η διαδικασία είναι τόσο αργή όσο και επιρρεπής σε ανθρώπινο λάθος.
«Ένας υπολογιστής μπορεί να δει πέτρες όπως θα έκανε ένας μηχανικός», είπε ο Brenton Crawford, COO της Datarock. "Αν μπορείτε να το δείτε στην εικόνα, μπορούμε να εκπαιδεύσουμε ένα μοντέλο για να το αναλύσουμε καθώς και για τον άνθρωπο."
Παρόμοια με το Blue River, η Datarock χρησιμοποιεί μια παραλλαγή του μοντέλου RCNN στην παραγωγή, με τους ερευνητές να στραφούν σε τεχνικές αύξησης δεδομένων για να συλλέξουν αρκετά δεδομένα εκπαίδευσης στα αρχικά στάδια.
«Μετά την αρχική περίοδο ανακάλυψης, η ομάδα ξεκίνησε να συνδυάζει τεχνικές για να δημιουργήσει μια ροή εργασίας επεξεργασίας εικόνας για τρυπάνι βασικών εικόνων. Αυτό περιελάμβανε την ανάπτυξη μιας σειράς μοντέλων βαθιάς μάθησης που θα μπορούσαν να επεξεργαστούν ακατέργαστες εικόνες σε δομημένη μορφή και να χωρίσουν τις σημαντικές γεωλογικές πληροφορίες », έγραψαν οι ερευνητές σε μια δημοσίευση ιστολογίου.
Χρησιμοποιώντας την τεχνολογία της Datarock, οι πελάτες μπορούν να λάβουν αποτελέσματα σε μισή ώρα, σε αντίθεση με τις πέντε ή έξι ώρες που απαιτούνται για την καταγραφή των ευρημάτων με μη αυτόματο τρόπο. Αυτό απελευθερώνει τους γεωλόγους από τα πιο επίπονα μέρη της δουλειάς τους, είπε ο Crawford. Ωστόσο, «όταν αυτοματοποιούμε πράγματα που είναι πιο δύσκολα, παίρνουμε κάποια ώθηση και πρέπει να εξηγήσουμε ότι αποτελούν μέρος αυτού του συστήματος για να εκπαιδεύσουμε τα μοντέλα και να γυρίσουμε αυτόν τον βρόχο ανατροφοδότησης».
Όπως πολλές εταιρείες που εκπαιδεύουν μοντέλα υπολογιστών βαθιάς μάθησης, το Datarock ξεκίνησε με το TensorFlow, αλλά σύντομα μεταφέρθηκε στο PyTorch.
«Στην αρχή χρησιμοποιήσαμε το TensorFlow και θα μας έπεφτε για μυστηριώδεις λόγους», δήλωσε ο Duy Tin Truong, επικεφαλής μηχανικής μάθησης στο Datarock. «Το PyTorch και το Detecton2 κυκλοφόρησαν εκείνη τη στιγμή και ταίριαζαν καλά στις ανάγκες μας, οπότε μετά από κάποιες δοκιμές είδαμε ότι ήταν πιο εύκολο να κάνουμε εντοπισμό σφαλμάτων και να δουλέψουμε με και να καταλάβουμε λιγότερη μνήμη, οπότε αλλάξαμε», είπε.
Η Datarock ανέφερε επίσης 4 φορές βελτίωση στην απόδοση συμπερασμάτων από TensorFlow σε PyTorch και Detectron2 κατά την εκτέλεση των μοντέλων σε GPU - και 3x σε CPU.
Ο Truong ανέφερε την αναπτυσσόμενη κοινότητα της PyTorch, την καλά σχεδιασμένη διεπαφή, την ευκολία χρήσης και το καλύτερο εντοπισμό σφαλμάτων ως λόγους για τον διακόπτη και σημείωσε ότι παρόλο που «διαφέρουν πολύ από την άποψη της διεπαφής, αν γνωρίζετε το TensorFlow, είναι αρκετά εύκολο να αλλάξετε , ειδικά αν γνωρίζετε την Python. "
