Το Apache Spark, το μεγάλο πλαίσιο επεξεργασίας δεδομένων στη μνήμη, θα επιταχυνθεί πλήρως με την GPU με την σύντομη ενσάρκωση 3.0 που πρόκειται να κυκλοφορήσει σύντομα. Το καλύτερο από όλα, οι σημερινές εφαρμογές Spark μπορούν να επωφεληθούν από την επιτάχυνση GPU χωρίς τροποποίηση. τα υπάρχοντα API Spark λειτουργούν ως έχουν.
Τα εξαρτήματα επιτάχυνσης GPU, που παρέχονται από τη Nvidia, έχουν σχεδιαστεί για να συμπληρώνουν όλες τις φάσεις των εφαρμογών Spark, συμπεριλαμβανομένων λειτουργιών ETL, εκπαίδευσης μηχανικής μάθησης και εξυπηρέτησης συμπερασμάτων.
Οι συνεισφορές του Nvidia Spark βασίζονται στη σουίτα RAPIDS των βιβλιοθηκών επιστημών δεδομένων με επιτάχυνση GPU. Πολλές από τις εσωτερικές δομές δεδομένων του RAPIDS, όπως τα πλαίσια δεδομένων, συμπληρώνουν τη δική του Spark, αλλά η χρήση του RAPIDS από το Spark χρειάστηκε σχεδόν τέσσερα χρόνια δουλειάς.
Οι ταχύτητες Spark 3.0 δεν προέρχονται αποκλειστικά από την επιτάχυνση GPU. Το Spark 3.0 αποκομίζει επίσης κέρδη απόδοσης ελαχιστοποιώντας τη μετακίνηση δεδομένων από και προς GPU. Όταν τα δεδομένα πρέπει να μετακινηθούν σε ένα σύμπλεγμα, το πλαίσιο Unified Communication X το μεταφέρει απευθείας από ένα μπλοκ μνήμης GPU σε άλλο με ελάχιστη επιβάρυνση.
Σύμφωνα με τη Nvidia, μια έκδοση προεπισκόπησης του Spark 3.0 που εκτελείται στην πλατφόρμα Databricks απέδωσε επταπλάσια βελτίωση απόδοσης κατά τη χρήση της επιτάχυνσης GPU, αν και δεν υπήρχαν λεπτομέρειες σχετικά με το φόρτο εργασίας και το σύνολο δεδομένων του.
Δεν έχει δοθεί συγκεκριμένη ημερομηνία για τη γενική διαθεσιμότητα του Spark 3.0. Μπορείτε να κατεβάσετε εκδόσεις προεπισκόπησης από τον ιστότοπο του έργου Apache Spark.
