Την επόμενη δεκαετία, ο ρόλος των επιστημόνων δεδομένων, όπως γνωρίζουμε, θα φαίνεται πολύ διαφορετικός από ό, τι σήμερα. Αλλά μην ανησυχείτε, κανείς δεν προβλέπει χαμένες θέσεις εργασίας άλλαξε θέσεις εργασίας.
Οι επιστήμονες δεδομένων θα είναι εντάξει - σύμφωνα με το Γραφείο Στατιστικής Εργασίας, ο ρόλος αναμένεται να αυξηθεί σε κλιπ υψηλότερο από το μέσο όρο έως το 2029. Αλλά οι εξελίξεις στην τεχνολογία θα αποτελέσουν την ώθηση για μια τεράστια μετατόπιση των ευθυνών ενός επιστήμονα δεδομένων και τον τρόπο με τον οποίο οι επιχειρήσεις προσεγγίζουν το analytics στο σύνολό του. Και τα εργαλεία AutoML, τα οποία βοηθούν στην αυτοματοποίηση του αγωγού μηχανικής εκμάθησης από μη επεξεργασμένα δεδομένα σε ένα χρησιμοποιήσιμο μοντέλο, θα οδηγήσουν σε αυτήν την επανάσταση.
Σε 10 χρόνια, οι επιστήμονες δεδομένων θα έχουν εντελώς διαφορετικά σύνολα δεξιοτήτων και εργαλείων, αλλά η λειτουργία τους θα παραμείνει η ίδια: να χρησιμεύσει ως αυτοπεποίθηση και ικανός τεχνολογικός οδηγός που μπορεί να κατανοήσει πολύπλοκα δεδομένα για την επίλυση επιχειρηματικών προβλημάτων.
Το AutoML εκδημοκρατίζει την επιστήμη των δεδομένων
Μέχρι πρόσφατα, οι αλγόριθμοι και οι διαδικασίες της μηχανικής μάθησης αποτελούσαν σχεδόν αποκλειστικά το πεδίο των πιο παραδοσιακών ρόλων της επιστήμης δεδομένων - εκείνων με επίσημη εκπαίδευση και προχωρημένους βαθμούς ή εργάζονταν για μεγάλες εταιρείες τεχνολογίας. Οι επιστήμονες δεδομένων έπαιξαν ανεκτίμητο ρόλο σε κάθε μέρος του φάσματος ανάπτυξης μηχανικής μάθησης. Αλλά με τον καιρό, ο ρόλος τους θα γίνει πιο συνεργατικός και στρατηγικός. Με εργαλεία όπως το AutoML για την αυτοματοποίηση ορισμένων από τις πιο ακαδημαϊκές δεξιότητές τους, οι επιστήμονες δεδομένων μπορούν να επικεντρωθούν στην καθοδήγηση οργανώσεων προς λύσεις σε επιχειρηματικά προβλήματα μέσω δεδομένων.
Με πολλούς τρόπους, αυτό συμβαίνει επειδή η AutoML εκδημοκρατίζει την προσπάθεια της πρακτικής της μηχανικής μάθησης. Προμηθευτές από νεοσύστατες εταιρείες έως υπερσυγκολλητές cloud έχουν ξεκινήσει λύσεις αρκετά εύκολες για να χρησιμοποιούν και να πειραματίζονται οι προγραμματιστές χωρίς μεγάλο εκπαιδευτικό ή βιωματικό εμπόδιο στην είσοδο. Παρομοίως, ορισμένες εφαρμογές AutoML είναι διαισθητικές και αρκετά απλές ώστε οι μη τεχνικοί εργαζόμενοι να μπορούν να προσπαθήσουν να δημιουργήσουν λύσεις σε προβλήματα στα δικά τους τμήματα - δημιουργώντας έναν «επιστήμονα δεδομένων πολιτών» ειδών μέσα σε οργανισμούς.
Για να διερευνήσουμε τις δυνατότητες αυτών των τύπων εργαλείων να ξεκλειδώσουν τόσο για προγραμματιστές όσο και για επιστήμονες δεδομένων, πρέπει πρώτα να κατανοήσουμε την τρέχουσα κατάσταση της επιστήμης δεδομένων καθώς σχετίζεται με την ανάπτυξη μηχανικής μάθησης. Είναι πιο εύκολο να το καταλάβετε όταν τοποθετείτε σε κλίμακα ωριμότητας.
Μικρότεροι οργανισμοί και επιχειρήσεις με πιο παραδοσιακούς ρόλους που είναι υπεύθυνοι για τον ψηφιακό μετασχηματισμό (δηλαδή, δεν κλασικά εκπαιδευμένοι επιστήμονες δεδομένων) συνήθως πέφτουν σε αυτό το τέλος αυτής της κλίμακας. Αυτήν τη στιγμή, είναι οι μεγαλύτεροι πελάτες για εφαρμογές μηχανικής εκμάθησης εκτός κιβωτίου, οι οποίες προσανατολίζονται περισσότερο σε ένα κοινό που δεν είναι εξοικειωμένο με τις περιπλοκές της μηχανικής μάθησης.
- Πλεονεκτήματα: Αυτές οι εφαρμογές με το κλειδί στο χέρι τείνουν να είναι εύκολο να εφαρμοστούν και σχετικά φθηνές και εύκολες στην ανάπτυξη. Για μικρότερες εταιρείες με πολύ συγκεκριμένη διαδικασία αυτοματοποίησης ή βελτίωσης, υπάρχουν πιθανώς πολλές βιώσιμες επιλογές στην αγορά. Το χαμηλό εμπόδιο στην είσοδο καθιστά αυτές τις εφαρμογές ιδανικές για επιστήμονες δεδομένων που μπαίνουν στη μηχανική μάθηση για πρώτη φορά. Επειδή ορισμένες από τις εφαρμογές είναι τόσο διαισθητικές, επιτρέπουν ακόμη και σε μη τεχνικούς υπαλλήλους την ευκαιρία να πειραματιστούν με αυτοματοποίηση και προηγμένες δυνατότητες δεδομένων - πιθανώς εισάγοντας ένα πολύτιμο περιβάλλον δοκιμών σε έναν οργανισμό.
- Μειονεκτήματα: Αυτή η κατηγορία εφαρμογών μηχανικής μάθησης είναι γνωστά άκαμπτη. Παρόλο που μπορούν να εφαρμοστούν εύκολα, δεν προσαρμόζονται εύκολα. Ως τέτοια, ορισμένα επίπεδα ακρίβειας μπορεί να είναι αδύνατα για ορισμένες εφαρμογές. Επιπλέον, αυτές οι εφαρμογές μπορούν να περιοριστούν σοβαρά λόγω της εξάρτησής τους από προκαθορισμένα μοντέλα και δεδομένα.
Παραδείγματα αυτών των εφαρμογών περιλαμβάνουν το Amazon Comprehend, το Amazon Lex και το Amazon Forecast από το Amazon Web Services και το Azure Speech Services και το Azure Language Understanding (LUIS) από το Microsoft Azure. Αυτά τα εργαλεία είναι συχνά αρκετά επαρκή για την αύξηση των επιστημόνων δεδομένων για να κάνουν τα πρώτα βήματα στη μηχανική μάθηση και να οδηγήσουν τους οργανισμούς τους περαιτέρω στο φάσμα της ωριμότητας.
Προσαρμόσιμες λύσεις με AutoML
Οι οργανισμοί με μεγάλα αλλά σχετικά κοινά σύνολα δεδομένων - πιστεύουν ότι τα δεδομένα συναλλαγών πελατών ή μετρήσεις email μάρκετινγκ - χρειάζονται περισσότερη ευελιξία όταν χρησιμοποιούν μηχανική εκμάθηση για την επίλυση προβλημάτων. Εισαγάγετε το AutoML. Το AutoML ακολουθεί τα βήματα μιας ροής εργασιών μη αυτόματης μάθησης (ανακάλυψη δεδομένων, διερευνητική ανάλυση δεδομένων, συντονισμός υπερπαραμέτρων κ.λπ.) και τα συμπυκνώνει σε μια διαμορφώσιμη στοίβα.
- Πλεονεκτήματα: Οι εφαρμογές AutoML επιτρέπουν την εκτέλεση περισσότερων πειραμάτων σε δεδομένα σε μεγαλύτερο χώρο. Αλλά η πραγματική υπερδύναμη του AutoML είναι η προσβασιμότητα - οι προσαρμοσμένες διαμορφώσεις μπορούν να κατασκευαστούν και οι είσοδοι μπορούν να βελτιωθούν σχετικά εύκολα. Επιπλέον, το AutoML δεν δημιουργείται αποκλειστικά με τους επιστήμονες δεδομένων ως κοινό. Οι προγραμματιστές μπορούν επίσης να παίξουν εύκολα στο περιβάλλον δοκιμών για να φέρουν στοιχεία μηχανικής εκμάθησης στα δικά τους προϊόντα ή έργα.
- Μειονεκτήματα: Ενώ πλησιάζει, οι περιορισμοί της AutoML σημαίνουν ότι η ακρίβεια στις εξόδους θα είναι δύσκολο να τελειοποιηθεί. Εξαιτίας αυτού, οι επιστήμονες δεδομένων που κρατούν πτυχίο, με κάρτες, συχνά εξετάζουν τις εφαρμογές που έχουν δημιουργηθεί με τη βοήθεια του AutoML - ακόμη και αν το αποτέλεσμα είναι αρκετά ακριβές για να λύσει το πρόβλημα που υπάρχει.
Παραδείγματα αυτών των εφαρμογών περιλαμβάνουν το Amazon SageMaker AutoPilot ή το Google Cloud AutoML. Οι επιστήμονες δεδομένων μια δεκαετία από τώρα θα πρέπει αναμφίβολα να εξοικειωθούν με τέτοια εργαλεία. Όπως ένας προγραμματιστής που είναι ικανός σε πολλές γλώσσες προγραμματισμού, οι επιστήμονες δεδομένων θα πρέπει να έχουν επάρκεια με πολλά περιβάλλοντα AutoML για να θεωρηθούν κορυφαίο ταλέντο.
«Hand-rolled» και οικιακές λύσεις μηχανικής μάθησης
Οι μεγαλύτερες επιχειρήσεις σε κλίμακα επιχειρήσεων και οι εταιρείες Fortune 500 βρίσκονται εκεί όπου αναπτύσσονται οι περισσότερες από τις προηγμένες και ιδιόκτητες εφαρμογές μηχανικής μάθησης. Οι επιστήμονες δεδομένων σε αυτούς τους οργανισμούς αποτελούν μέρος μεγάλων ομάδων που τελειοποιούν τους αλγόριθμους μηχανικής εκμάθησης χρησιμοποιώντας στοιχεία ιστορικών εταιρικών δεδομένων και δημιουργούν αυτές τις εφαρμογές από την αρχή. Προσαρμοσμένες εφαρμογές όπως αυτές είναι δυνατές μόνο με σημαντικούς πόρους και ταλέντα, γι 'αυτό η απόδοση και οι κίνδυνοι είναι τόσο μεγάλοι.
- Πλεονεκτήματα: Όπως κάθε εφαρμογή που έχει κατασκευαστεί από το μηδέν, η προσαρμοσμένη μηχανική εκμάθηση είναι "state-of-the-art" και βασίζεται σε μια βαθιά κατανόηση του προβλήματος. Είναι επίσης πιο ακριβές - αν μόνο με μικρά περιθώρια - από το AutoML και τις μη αυτόματες λύσεις μηχανικής εκμάθησης.
- Μειονεκτήματα: Η λήψη μιας προσαρμοσμένης εφαρμογής μηχανικής εκμάθησης για την επίτευξη ορισμένων ορίων ακρίβειας μπορεί να είναι εξαιρετικά δύσκολη και συχνά απαιτεί βαριά ανάληψη από ομάδες επιστημόνων δεδομένων. Επιπλέον, οι προσαρμοσμένες επιλογές μηχανικής εκμάθησης είναι οι πιο χρονοβόρες και πιο ακριβές στην ανάπτυξη.
Ένα παράδειγμα μιας χειροκίνητης λύσης μηχανικής εκμάθησης ξεκινά με ένα κενό σημειωματάριο Jupyter, μη αυτόματη εισαγωγή δεδομένων και, στη συνέχεια, πραγματοποιώντας κάθε βήμα από την διερευνητική ανάλυση δεδομένων μέσω συντονισμού μοντέλων με το χέρι. Αυτό επιτυγχάνεται συχνά γράφοντας προσαρμοσμένο κώδικα χρησιμοποιώντας πλαίσια μηχανικής εκμάθησης ανοιχτού κώδικα όπως Scikit-learn, TensorFlow, PyTorch και πολλά άλλα. Αυτή η προσέγγιση απαιτεί υψηλό βαθμό εμπειρίας και διαίσθησης, αλλά μπορεί να παράγει αποτελέσματα που συχνά ξεπερνούν τόσο τις υπηρεσίες μηχανικής εκμάθησης με το κλειδί στο χέρι όσο και το AutoML.
Εργαλεία όπως το AutoML θα αλλάξουν τους ρόλους και τις ευθύνες της επιστήμης δεδομένων τα επόμενα 10 χρόνια. Το AutoML αναλαμβάνει το βάρος της ανάπτυξης της μηχανικής μάθησης από το μηδέν των επιστημόνων δεδομένων και αντίθετα θέτει τις δυνατότητες της τεχνολογίας μηχανικής μάθησης απευθείας στα χέρια άλλων επιλυτών προβλημάτων. Με τον ελεύθερο χρόνο να επικεντρωθεί σε αυτά που γνωρίζουν - τα δεδομένα και οι ίδιοι οι εισροές - οι επιστήμονες δεδομένων μια δεκαετία από τώρα θα χρησιμεύσουν ως ακόμη πιο πολύτιμοι οδηγοί για τους οργανισμούς τους.
Ο Eric Miller λειτουργεί ως ανώτερος διευθυντής τεχνικής στρατηγικής στο Rackspace, όπου παρέχει στρατηγική συμβουλευτική ηγεσία με ένα αποδεδειγμένο ιστορικό πρακτικής οικοδόμησης στο οικοσύστημα Amazon Partner Network (APN).Ένας πετυχημένος τεχνολογικός ηγέτης με 20 χρόνια αποδεδειγμένης επιτυχίας στην εταιρική πληροφορική, ο Eric έχει οδηγήσει αρκετές πρωτοβουλίες αρχιτεκτονικής AWS και λύσεων, όπως το πρόγραμμα συνεργατών αξιολόγησης AWS Well Architected Framework (WAF), το Amazon EC2 για Windows Server Program παροχής υπηρεσιών AWS και ένα ευρύ φάσμα του AWS ξαναγράφει για οργανισμούς πολλών δισεκατομμυρίων δολαρίων.
—
Το New Tech Forum παρέχει έναν χώρο για να εξερευνήσετε και να συζητήσετε την αναδυόμενη τεχνολογία σε πρωτοφανές βάθος και εύρος. Η επιλογή είναι υποκειμενική, με βάση την επιλογή των τεχνολογιών που πιστεύουμε ότι είναι σημαντικές και έχουν μεγάλο ενδιαφέρον για τους αναγνώστες. δεν αποδέχεται ασφάλεια μάρκετινγκ για δημοσίευση και διατηρεί το δικαίωμα να επεξεργαστεί όλο το περιεχόμενο. Στείλτε όλες τις ερωτήσεις στο [email protected].
