Προγραμματισμός

Πλέγματα δεδομένων στη μνήμη έναντι βάσεων δεδομένων στη μνήμη

Η υιοθέτηση του υπολογιστή στη μνήμη συνεχίζει να επιταχύνεται. Οι ώριμες λύσεις επιτρέπουν στους οργανισμούς να αποκτήσουν την ταχύτητα και την κλίμακα επεξεργασίας της βάσης δεδομένων που χρειάζονται για τον ψηφιακό μετασχηματισμό τους και τις πρωτοβουλίες εμπειρίας των πελατών σε όλα τα κανάλια. Για παράδειγμα, η εταιρεία επενδύσεων Wellington Management χρησιμοποίησε μια πλατφόρμα υπολογιστών στη μνήμη για να επιταχύνει και να κλιμακώσει το επενδυτικό βιβλίο καταγραφής (IBOR), τη μοναδική πηγή αλήθειας για θέσεις επενδυτών, έκθεση, αποτιμήσεις και επιδόσεις. Όλες οι συναλλαγές σε πραγματικό χρόνο, όλες οι σχετικές δραστηριότητες λογαριασμού, δεδομένα τρίτων, όπως τιμές αγοράς, και όλες οι σχετικές δραστηριότητες back-office ρέουν μέσω του IBOR σε πραγματικό χρόνο. Το IBOR υποστηρίζει επίσης ανάλυση απόδοσης, εκτιμήσεις κινδύνου, συμμόρφωση με τους κανονισμούς και πολλά άλλα. Σε διάφορες δοκιμές, η νέα πλατφόρμα απέδωσε τουλάχιστον δέκα φορές γρηγορότερα από το κληρονομικό σύστημα της εταιρείας που χτίστηκε απευθείας σε σχεσιακή βάση δεδομένων της Oracle.

Η Nikita Ivanov είναι CTO της GridGain Systems, η οποία αναπτύσσει λύσεις πληροφορικής στη μνήμη.

Η Gartner προβλέπει ότι έως το 2019, το 75% της ανάπτυξης εφαρμογών εγγενών cloud θα χρησιμοποιεί υπολογιστές στη μνήμη ή υπηρεσίες που χρησιμοποιούν υπολογιστές στη μνήμη, για να επιτρέψει στους προγραμματιστές mainstream να εφαρμόσουν εφαρμογές υψηλής απόδοσης, μαζικά επεκτάσιμες. Ωστόσο, οι προγραμματιστές νέοι στις τεχνολογίες υπολογιστών στη μνήμη πρέπει να αναπτύξουν μια κατανόηση των διαφορετικών στρατηγικών για την προσθήκη της τεχνολογίας στις αρχιτεκτονικές τους. Στις περισσότερες περιπτώσεις, η πρώτη απόφαση που πρέπει να λάβουν είναι αν θα αναπτύξουν ένα πλέγμα δεδομένων στη μνήμη ή μια βάση δεδομένων στη μνήμη. Αυτή η απόφαση θα βασιστεί κυρίως στο εάν σκοπεύουν να επιταχύνουν τις υπάρχουσες εφαρμογές, να σχεδιάσουν να αναπτύξουν νέες εφαρμογές ή να αναδιαρθρώσουν πλήρως τις υπάρχουσες ή να δουν μια ευκαιρία να κάνουν και τα δύο. Πρέπει επίσης να εξετάσουν ποιο επίπεδο θα χρησιμεύσει ως το σύστημα εγγραφής, το επίπεδο υπολογισμού στη μνήμη ή το υποκείμενο επίπεδο δεδομένων.

Ας εξερευνήσουμε τις τεχνολογίες υπολογιστών στη μνήμη που απαιτούνται για την εφαρμογή αυτών των στρατηγικών.

Πλέγματα δεδομένων στη μνήμη

Ένα πλέγμα δεδομένων στη μνήμη (IMDG) αντιγράφει δεδομένα βάσει δίσκου από βάσεις δεδομένων RDBMS, NoSQL ή Hadoop στη μνήμη RAM, όπου η επεξεργασία πραγματοποιείται χωρίς τις καθυστερήσεις που προκαλούνται από τις συνεχείς αναγνώσεις και εγγραφές δίσκων. Τοποθετημένο μεταξύ των επιπέδων εφαρμογής και δεδομένων, το πλέγμα δεδομένων στη μνήμη αναπτύσσεται σε ένα σύμπλεγμα κόμβων διακομιστή και μοιράζεται τη διαθέσιμη μνήμη και CPU του συμπλέγματος. Είτε αναπτύσσεται σε δημόσιο είτε ιδιωτικό περιβάλλον cloud, εσωτερικές εγκαταστάσεις ή σε υβριδικό περιβάλλον, ένα πλέγμα δεδομένων στη μνήμη μπορεί να κλιμακωθεί απλά προσθέτοντας έναν νέο κόμβο στο σύμπλεγμα. Ορισμένα πλέγματα δεδομένων στη μνήμη μπορούν να υποστηρίξουν συναλλαγές ANSI-99 SQL και ACID, προηγμένη ασφάλεια, μηχανική εκμάθηση και ενσωματωμένες ενσωματώσεις Spark, Cassandra και Hadoop.

Ένα πλέγμα δεδομένων στη μνήμη είναι μια απλή και οικονομικά αποδοτική λύση για υπάρχουσες εφαρμογές. Ωστόσο, πολλά πλέγματα δεδομένων στη μνήμη απαιτούν όλα τα δεδομένα στη βάση δεδομένων που βασίζονται σε δίσκο να χωράνε στη μνήμη, απαιτώντας από μια επιχείρηση να αγοράσει αρκετή μνήμη για να διατηρήσει όλα τα δεδομένα. Δεδομένου ότι η μνήμη είναι ακόμα πιο ακριβή από το δίσκο, πολλές εταιρείες μπορεί να προτιμούν να διατηρούν ορισμένα δεδομένα μόνο στο δίσκο. Νέες αρχιτεκτονικές με επίκεντρο τη μνήμη το επιλύουν αυτό με επεξεργασία έναντι του πλήρους συνόλου δεδομένων, ακόμη και αν ορισμένα από τα δεδομένα είναι αποθηκευμένα σε δίσκο. Αυτή η δυνατότητα «μόνιμης αποθήκευσης» επιτρέπει την ποσότητα δεδομένων να υπερβαίνει την ποσότητα μνήμης. Αυτό σημαίνει ότι τα δεδομένα μπορούν να βελτιστοποιηθούν, ώστε όλα τα δεδομένα να βρίσκονται στον δίσκο, αλλά τα δεδομένα που χρησιμοποιούνται πιο συχνά επίσης βρίσκεται στη μνήμη, ενώ σπάνια χρησιμοποιούνται δεδομένα μόνο σε δίσκο. Ένα άλλο βασικό πλεονέκτημα είναι ότι μετά την επανεκκίνηση, ένα σύστημα με μόνιμο χώρο αποθήκευσης μπορεί να ξεκινήσει την άμεση επεξεργασία του στο σύνολο δεδομένων στο δίσκο χωρίς να περιμένει να φορτωθεί το σύνολο δεδομένων στη μνήμη.

Η Workday, ένας πάροχος λύσεων χρηματοοικονομικών και HR SaaS που εξυπηρετεί εταιρείες Fortune 50, αφορούσε τον τρόπο με τον οποίο χρησιμοποιεί ένα πλέγμα δεδομένων στη μνήμη για την επεξεργασία περίπου 189 εκατομμυρίων συναλλαγών την ημέρα, φτάνοντας στα 289 εκατομμύρια την ημέρα. Συγκριτικά, το Twitter χειρίζεται περίπου 500 εκατομμύρια tweets την ημέρα.

Βάση δεδομένων στη μνήμη

Μια βάση δεδομένων στη μνήμη (IMDB) ταιριάζει καλύτερα σε νέες ή επανα-αρχιτεκτονικές εφαρμογές. Πρόκειται για μια πλήρως εξοπλισμένη, αυτόνομη βάση δεδομένων που τρέχει στη μνήμη και υποστηρίζει API επεξεργασίας δεδομένων όπως ANSI-99 SQL, key-value, compute και machine learning. Το πλεονέκτημα μιας βάσης δεδομένων στη μνήμη έναντι ενός πλέγματος δεδομένων στη μνήμη είναι ότι η αρχιτεκτονική μειώνεται από τρία επίπεδα (εφαρμογή, στη μνήμη και δεδομένα) σε δύο. Το μειονέκτημα είναι ότι δεν μπορεί να χρησιμοποιηθεί για μια υπάρχουσα εφαρμογή χωρίς ανύψωση και μετατόπιση του συνόλου δεδομένων από την υπάρχουσα βάση δεδομένων. Επιπλέον, επειδή μια βάση δεδομένων στη μνήμη χρησιμεύει ως σύστημα εγγραφής, η λύση πρέπει να περιλαμβάνει μια στρατηγική για την προστασία των δεδομένων σε περίπτωση διακοπής λειτουργίας. Αυτή η στρατηγική μπορεί να είναι παρόμοια με την επίμονη ικανότητα αποθήκευσης που συζητήθηκε για πλέγματα δεδομένων στη μνήμη, ή θα μπορούσε να περιλαμβάνει τη χρήση μη πτητικής μνήμης RAM, μιας νέας τεχνολογίας που πιθανότατα θα διαδραματίσει ολοένα και πιο σημαντικό ρόλο στο μέλλον.

Σήμερα, μια μεγάλη τράπεζα με 135 εκατομμύρια πελάτες χρησιμοποιεί μια βάση δεδομένων στη μνήμη με μόνιμη δυνατότητα αποθήκευσης για να αναπτύξει μια αρχιτεκτονική κλίμακας Ιστού που μπορεί να χειριστεί έως και 1,5PB δεδομένων, μαζί με τον απαιτούμενο όγκο συναλλαγών. Αυτή η λύση χρησιμεύει ως το σύστημα εγγραφής και δεν βρίσκεται πάνω από ένα υπάρχον αρχείο δεδομένων.

Υπολογιστικές πλατφόρμες στη μνήμη

Οι οργανισμοί που αναπτύσσουν μια μακροπρόθεσμη στρατηγική που περιλαμβάνει την επιτάχυνση των υπαρχουσών εφαρμογών και την ανάπτυξη νέων μπορούν να επιλέξουν μια πλατφόρμα υπολογιστών στη μνήμη που συνδυάζει την επεκτασιμότητα ενός IMDG με τις πλήρεις σχετικές δυνατότητες βάσης δεδομένων ενός IMDB. Η πλατφόρμα υπολογιστών στη μνήμη, επομένως, μπορεί να χρησιμοποιηθεί για να επιταχύνει τις υπάρχουσες εφαρμογές ή να αποτελέσει τη βάση για τη δημιουργία νέων ή επανακατασκευασμένων εφαρμογών που μπορούν να επωφεληθούν από κατανεμημένους υπολογιστές και ένα μόνιμο κατάστημα.

Εκτός από το να αποφασίσουν ποια τεχνολογία ανταποκρίνεται καλύτερα στις ανάγκες τους, οι οργανισμοί θα πρέπει να εξετάσουν εάν χρειάζονται πρόσθετες τεχνολογίες υποστήριξης στη μνήμη, όπως:

  • Μια μηχανή ανάλυσης ροής για τη διαχείριση όλης της πολυπλοκότητας γύρω από τη ροή δεδομένων και την επεξεργασία συμβάντων.
  • Ένα πλαίσιο συνεχούς μάθησης που βασίζεται σε βαθιά μάθηση για να χρησιμεύσει ως δομικό στοιχείο για αυτό που ο Gartner αναφέρεται ως HTAP κατά τη διαδικασία (υβριδική συναλλακτική / αναλυτική επεξεργασία). δηλαδή, η δυνατότητα εφαρμογής μηχανικής μάθησης ή ανάλυσης βαθιάς μάθησης σε επιχειρησιακά δεδομένα σε πραγματικό χρόνο.

Η τεχνολογία υπολογιστών In-memory χρησιμοποιείται από κορυφαίες ψηφιακές επιχειρήσεις τώρα και θα χρησιμοποιηθεί ακόμη ευρύτερα στο μέλλον. Όσο πιο γρήγορα αναπτύξετε μια σταθερή κατανόηση των στρατηγικών ανάπτυξης και των δυνατοτήτων του υπολογιστή στη μνήμη, τόσο πιο γρήγορα θα μπορείτε να βοηθήσετε τον οργανισμό σας να αποκτήσει το ανταγωνιστικό πλεονέκτημα που χρειάζεται.

$config[zx-auto] not found$config[zx-overlay] not found