Προγραμματισμός

6 κρυφές δυσχέρειες στη μετεγκατάσταση δεδομένων στο cloud

Ο Seth Noble είναι ιδρυτής και πρόεδρος της Data Expedition.

Η μεταφορά terabyte ή ακόμα και petabytes δεδομένων στο cloud είναι μια αποθαρρυντική εργασία. Αλλά είναι σημαντικό να κοιτάξετε πέρα ​​από τον αριθμό των byte. Πιθανότατα γνωρίζετε ότι οι εφαρμογές σας θα συμπεριφέρονται διαφορετικά όταν έχουν πρόσβαση στο cloud, ότι οι δομές κόστους θα είναι διαφορετικές (ελπίζουμε καλύτερα) και ότι θα χρειαστεί χρόνος για τη μετακίνηση όλων αυτών των δεδομένων.

Επειδή η εταιρεία μου, η Data Expedition, ασχολείται με τη μεταφορά δεδομένων υψηλής απόδοσης, οι πελάτες έρχονται σε εμάς όταν αναμένουν ότι η ταχύτητα του δικτύου θα είναι πρόβλημα. Όμως, κατά τη διαδικασία της βοήθειας των εταιρειών να ξεπεράσουν αυτό το πρόβλημα, έχουμε δει πολλούς άλλους παράγοντες που απειλούν να εκτροχιάσουν τις μεταναστεύσεις σύννεφων, εάν παραμεληθούν.

Η συλλογή, οργάνωση, μορφοποίηση και επικύρωση των δεδομένων σας μπορεί να παρουσιάσει πολύ μεγαλύτερες προκλήσεις από τη μεταφορά τους. Ακολουθούν ορισμένοι συνηθισμένοι παράγοντες που πρέπει να λάβετε υπόψη στα στάδια προγραμματισμού μιας μετεγκατάστασης cloud, ώστε να αποφύγετε αργότερα χρονοβόρα και ακριβά προβλήματα.

Σημείο συμφόρησης μετανάστευσης # 1: Αποθήκευση δεδομένων

Το πιο συνηθισμένο λάθος που βλέπουμε στις μετακινήσεις cloud είναι η μεταφορά δεδομένων στην αποθήκευση cloud χωρίς να εξετάσουμε πώς θα χρησιμοποιηθούν αυτά τα δεδομένα. Η τυπική διαδικασία σκέψης είναι, «Θέλω να βάλω τα έγγραφα και τις βάσεις δεδομένων μου στο cloud και η αποθήκευση αντικειμένων είναι φθηνή, οπότε θα βάλω εκεί τα αρχεία εγγράφων και βάσεων δεδομένων». Όμως τα αρχεία, τα αντικείμενα και οι βάσεις δεδομένων συμπεριφέρονται πολύ διαφορετικά. Βάζοντας τα bytes σας σε λάθος μπορεί να καταστρέψει τα σχέδια cloud σας.

Τα αρχεία οργανώνονται από μια ιεραρχία διαδρομών, ένα δέντρο καταλόγου. Μπορείτε να έχετε γρήγορη πρόσβαση σε κάθε αρχείο, με ελάχιστη καθυστέρηση (χρόνος έως πρώτο byte) και υψηλή ταχύτητα (bits ανά δευτερόλεπτο μόλις αρχίσουν να ρέουν τα δεδομένα). Τα μεμονωμένα αρχεία μπορούν εύκολα να μετακινηθούν, να μετονομαστούν και να αλλάξουν στο επίπεδο του byte. Μπορείτε να έχετε πολλά μικρά αρχεία, έναν μικρό αριθμό μεγάλων αρχείων ή οποιονδήποτε συνδυασμό μεγεθών και τύπων δεδομένων. Οι παραδοσιακές εφαρμογές μπορούν να έχουν πρόσβαση σε αρχεία στο cloud, όπως θα έπαιρναν στις εγκαταστάσεις, χωρίς ιδιαίτερη συνειδητοποίηση στο cloud.

Όλα αυτά τα πλεονεκτήματα καθιστούν την αποθήκευση βάσει αρχείων την πιο ακριβή επιλογή, αλλά η αποθήκευση αρχείων στο cloud έχει μερικά άλλα μειονεκτήματα. Για να επιτευχθεί υψηλή απόδοση, τα περισσότερα συστήματα αρχείων που βασίζονται σε σύννεφο (όπως το Amazon EBS) είναι προσβάσιμα μόνο από μία εικονική μηχανή που βασίζεται σε σύννεφο κάθε φορά, πράγμα που σημαίνει ότι όλες οι εφαρμογές που χρειάζονται αυτά τα δεδομένα πρέπει να εκτελούνται σε ένα μόνο cloud VM. Η εξυπηρέτηση πολλαπλών VM (όπως Azure Files) απαιτεί την προώθηση του χώρου αποθήκευσης με ένα πρωτόκολλο NAS (δικτυακός χώρος αποθήκευσης) όπως το SMB, το οποίο μπορεί να περιορίσει σημαντικά την απόδοση. Τα συστήματα αρχείων είναι γρήγορα, ευέλικτα και συμβατά με παλαιού τύπου, αλλά είναι ακριβά, χρήσιμα μόνο για εφαρμογές που εκτελούνται στο cloud και δεν έχουν καλή κλίμακα.

Τα αντικείμενα δεν είναι αρχεία. Θυμηθείτε αυτό, γιατί είναι εύκολο να ξεχάσετε. Τα αντικείμενα ζουν σε επίπεδο χώρο ονομάτων, όπως ένας τεράστιος κατάλογος. Ο λανθάνων χρόνος είναι υψηλός, μερικές φορές εκατοντάδες ή χιλιάδες χιλιοστά του δευτερολέπτου και η απόδοση είναι χαμηλή, συχνά ξεπερνά τα 150 megabit ανά δευτερόλεπτο εκτός και αν χρησιμοποιούνται έξυπνα κόλπα. Πολλά σχετικά με την πρόσβαση σε αντικείμενα καταλήγουν σε έξυπνα κόλπα όπως η μεταφόρτωση πολλαπλών τμημάτων, η πρόσβαση εύρους byte και η βελτιστοποίηση ονόματος κλειδιού. Τα αντικείμενα μπορούν να διαβαστούν από πολλές εφαρμογές που βασίζονται στο cloud και βασίζονται στον ιστό ταυτόχρονα, τόσο εντός όσο και εκτός του cloud, αλλά οι παραδοσιακές εφαρμογές απαιτούν επιλύσεις επιδόσεων. Οι περισσότερες διεπαφές για πρόσβαση σε χώρο αποθήκευσης αντικειμένων κάνουν τα αντικείμενα να μοιάζουν με αρχεία: τα ονόματα των κλειδιών φιλτράρονται από το πρόθεμα ώστε να μοιάζουν με φακέλους, προσαρμόζονται προσαρμοσμένα μεταδεδομένα σε αντικείμενα που εμφανίζονται ως μεταδεδομένα αρχείων και ορισμένα συστήματα όπως αντικείμενα προσωρινής αποθήκευσης FUSE σε ένα σύστημα αρχείων VM για να επιτρέπεται η πρόσβαση με παραδοσιακές εφαρμογές. Αλλά τέτοιες λύσεις είναι εύθραυστη και χυμώδης απόδοση. Η αποθήκευση στο cloud είναι φθηνή, επεκτάσιμη και εγγενής στο cloud, αλλά είναι επίσης αργή και δύσκολη η πρόσβαση.

Οι βάσεις δεδομένων έχουν τη δική τους περίπλοκη δομή και έχουν πρόσβαση σε γλώσσες ερωτήσεων όπως το SQL. Οι παραδοσιακές βάσεις δεδομένων μπορεί να υποστηρίζονται από αποθήκευση αρχείων, αλλά απαιτούν μια ζωντανή διαδικασία βάσης δεδομένων για την εξυπηρέτηση ερωτημάτων. Αυτό μπορεί να μεταφερθεί στο cloud αντιγράφοντας τα αρχεία και τις εφαρμογές της βάσης δεδομένων σε ένα VM ή μετεγκατάσταση των δεδομένων σε μια υπηρεσία βάσης δεδομένων που φιλοξενείται από το cloud. Ωστόσο, η αντιγραφή ενός αρχείου βάσης δεδομένων στην αποθήκευση αντικειμένων είναι χρήσιμη μόνο ως αντίγραφο ασφαλείας εκτός σύνδεσης. Οι βάσεις δεδομένων κλιμακώνονται επίσης ως μέρος μιας υπηρεσίας που φιλοξενείται από το cloud, αλλά είναι σημαντικό να διασφαλιστεί ότι οι εφαρμογές και οι διαδικασίες που εξαρτώνται από τη βάση δεδομένων είναι πλήρως συμβατές και εγγενείς στο cloud. Ο χώρος αποθήκευσης βάσεων δεδομένων είναι εξαιρετικά εξειδικευμένος και ειδικά για την εφαρμογή.

Η εξισορρόπηση της φαινομενικής εξοικονόμησης κόστους της αποθήκευσης αντικειμένων έναντι της λειτουργικότητας των αρχείων και των βάσεων δεδομένων απαιτεί προσεκτική εξέταση ακριβώς της λειτουργικότητας που απαιτείται. Για παράδειγμα, εάν θέλετε να αποθηκεύσετε και να διανείμετε πολλές χιλιάδες μικρά αρχεία, αρχειοθετήστε τα σε ένα αρχείο ZIP και αποθηκεύστε το ως ένα μοναδικό αντικείμενο αντί να προσπαθήσετε να αποθηκεύσετε κάθε μεμονωμένο αρχείο ως ξεχωριστό αντικείμενο. Οι εσφαλμένες επιλογές αποθήκευσης μπορούν να οδηγήσουν σε πολύπλοκες εξαρτήσεις που είναι δύσκολο και ακριβό να αλλάξουν αργότερα.

Σύνδεση μετανάστευσης στο cloud # 2: Προετοιμασία δεδομένων

Η μεταφορά δεδομένων στο cloud δεν είναι τόσο απλή όσο η αντιγραφή byte στον καθορισμένο τύπο αποθήκευσης. Πρέπει να γίνει πολλή προετοιμασία πριν να αντιγραφεί οτιδήποτε και αυτός ο χρόνος απαιτεί προσεκτικό προϋπολογισμό. Τα έργα απόδειξης της έννοιας συχνά αγνοούν αυτό το βήμα, το οποίο μπορεί να οδηγήσει σε δαπανηρές υπερβάσεις αργότερα.

Το φιλτράρισμα περιττών δεδομένων μπορεί να εξοικονομήσει πολύ χρόνο και κόστος αποθήκευσης. Για παράδειγμα, ένα σύνολο δεδομένων μπορεί να περιέχει αντίγραφα ασφαλείας, παλαιότερες εκδόσεις ή αρχεία μηδέν που δεν χρειάζεται να αποτελούν μέρος της ροής εργασίας του cloud. Ίσως το πιο σημαντικό μέρος του φιλτραρίσματος να δίνει προτεραιότητα σε ποια δεδομένα πρέπει να μετακινηθούν πρώτα. Τα δεδομένα που χρησιμοποιούνται ενεργά δεν θα ανεχθούν να μην είναι συγχρονισμένα έως τις εβδομάδες, τους μήνες ή τα χρόνια που απαιτούνται για την ολοκλήρωση ολόκληρης της διαδικασίας μετεγκατάστασης. Το κλειδί εδώ είναι να βρούμε ένα αυτοματοποιημένο μέσο επιλογής των δεδομένων που θα σταλούν και πότε, στη συνέχεια, διατηρήστε προσεκτικά αρχεία όλων όσων είναι και δεν γίνονται.

Διαφορετικές ροές εργασίας στο cloud ενδέχεται να απαιτούν τα δεδομένα να είναι σε διαφορετική μορφή ή οργανισμό από τις εσωτερικές εφαρμογές. Για παράδειγμα, μια νόμιμη ροή εργασίας μπορεί να απαιτεί μετάφραση χιλιάδων μικρών εγγράφων Word ή PDF και συσκευασία τους σε αρχεία ZIP, μια ροή εργασίας πολυμέσων ενδέχεται να περιλαμβάνει διακωδικοποίηση και συσκευασία μεταδεδομένων και μια ροή εργασίας βιοπληροφορικής μπορεί να απαιτεί τη συλλογή και τη σκηνοποίηση terabyte δεδομένων γονιδιωματικής. Αυτή η αναδιαμόρφωση μπορεί να είναι μια έντονα χειροκίνητη και χρονοβόρα διαδικασία. Μπορεί να απαιτεί πολύ πειραματισμό, πολύ προσωρινό χώρο αποθήκευσης και πολλή εξαίρεση. Μερικές φορές είναι δελεαστικό να αναβάλουμε οποιαδήποτε μορφοποίηση στο περιβάλλον cloud, αλλά να θυμάστε ότι αυτό δεν λύνει το πρόβλημα, αλλά το μετατρέπει σε ένα περιβάλλον όπου κάθε πόρος που χρησιμοποιείτε έχει τιμή.

Μέρος των ερωτήσεων αποθήκευσης και μορφοποίησης μπορεί να περιλαμβάνει αποφάσεις για συμπίεση και αρχειοθέτηση. Για παράδειγμα, είναι λογικό να ZIP εκατομμύρια μικρά αρχεία κειμένου πριν τα στείλετε στο cloud, αλλά όχι λίγα αρχεία πολυμέσων gigabyte. Η αρχειοθέτηση και η συμπίεση των δεδομένων διευκολύνει τη μεταφορά και αποθήκευση των δεδομένων, αλλά λάβετε υπόψη τον χρόνο και τον αποθηκευτικό χώρο που χρειάζεται για τη συσκευασία και την αποσυμπίεση αυτών των αρχείων και στα δύο άκρα.

Σύνδεση μετανάστευσης Cloud # 3: Επικύρωση πληροφοριών

Ο έλεγχος ακεραιότητας είναι το πιο σημαντικό βήμα και επίσης το πιο εύκολο να κάνεις λάθος. Συχνά θεωρείται ότι η διαφθορά θα συμβεί κατά τη μεταφορά δεδομένων, είτε μέσω φυσικών μέσων είτε μεταφοράς δικτύου, και μπορεί να εντοπιστεί εκτελώντας αθροίσματα ελέγχου πριν και μετά. Το Checksums είναι ένα ζωτικό μέρος της διαδικασίας, αλλά στην πραγματικότητα είναι η προετοιμασία και η εισαγωγή των δεδομένων όπου είναι πιθανότερο να υποστείτε απώλεια ή καταστροφή.

Όταν τα δεδομένα αλλάζουν μορφές και εφαρμογές, το νόημα και η λειτουργικότητα μπορούν να χαθούν ακόμα και όταν τα byte είναι τα ίδια. Μια απλή ασυμβατότητα μεταξύ των εκδόσεων λογισμικού μπορεί να καταστήσει άχρηστα τα petabytes των «σωστών» δεδομένων. Η εφαρμογή μιας επεκτάσιμης διαδικασίας για την επαλήθευση ότι τα δεδομένα σας είναι σωστά και χρησιμοποιήσιμα μπορεί να είναι μια αποθαρρυντική εργασία. Στη χειρότερη περίπτωση, μπορεί να εξελιχθεί σε μια χειροκίνητη διαδικασία εντάσεως εργασίας και ανακριβής «μου φαίνεται εντάξει». Αλλά ακόμη και αυτό είναι καλύτερο από καθόλου επικύρωση. Το πιο σημαντικό είναι να διασφαλίσετε ότι θα είστε σε θέση να αναγνωρίσετε προβλήματα πριν από τον παροπλισμό των παλαιών συστημάτων!

Σύνδεση μετανάστευσης στο cloud # 4: Μεταφορά marshaling

Κατά την ανύψωση ενός μόνο συστήματος στο cloud, είναι σχετικά εύκολο να αντιγράψετε τα έτοιμα δεδομένα σε φυσικά μέσα ή να τα προωθήσετε στο Διαδίκτυο. Αλλά αυτή η διαδικασία μπορεί να είναι δύσκολο να κλιμακωθεί, ειδικά για τα φυσικά μέσα. Αυτό που φαίνεται «απλό» σε μια απόδειξη της έννοιας μπορεί να οδηγήσει σε «εφιάλτη» όταν πολλά και ποικίλα συστήματα μπαίνουν στο παιχνίδι.

Μια συσκευή πολυμέσων, όπως μια χιονοστιβάδα AWS, πρέπει να είναι συνδεδεμένη σε κάθε μηχάνημα. Αυτό θα μπορούσε να σημαίνει φυσική περιήγηση στη συσκευή γύρω από ένα ή περισσότερα κέντρα δεδομένων, ζογκλέρ συνδέσμων, ενημέρωση προγραμμάτων οδήγησης και εγκατάσταση λογισμικού. Η σύνδεση μέσω του τοπικού δικτύου εξοικονομεί τη φυσική κίνηση, αλλά η ρύθμιση του λογισμικού μπορεί ακόμα να είναι δύσκολη και η ταχύτητα αντιγραφής μπορεί να πέσει πολύ κάτω από αυτό που θα μπορούσε να επιτευχθεί με μια άμεση μεταφόρτωση στο Διαδίκτυο. Η μεταφορά των δεδομένων απευθείας από κάθε υπολογιστή μέσω του Διαδικτύου εξοικονομεί πολλά βήματα, ειδικά εάν τα δεδομένα είναι έτοιμα για cloud.

Εάν η προετοιμασία των δεδομένων περιλαμβάνει αντιγραφή, εξαγωγή, μορφοποίηση ή αρχειοθέτηση, η τοπική αποθήκευση μπορεί να αποτελέσει εμπόδιο. Μπορεί να είναι απαραίτητο να ρυθμιστεί αποκλειστικός χώρος αποθήκευσης για τη σταδιοποίηση των προετοιμασμένων δεδομένων. Αυτό έχει το πλεονέκτημα ότι επιτρέπει σε πολλά συστήματα να εκτελούν παράλληλα την προετοιμασία και μειώνει τα σημεία επαφής για τα μέσα μεταφοράς και το λογισμικό μεταφοράς δεδομένων σε ένα μόνο σύστημα.

Σύνδεση μετανάστευσης στο cloud # 5: Μεταφορά δεδομένων

Κατά τη σύγκριση της μεταφοράς δικτύου με την αποστολή πολυμέσων, είναι εύκολο να εστιάσετε μόνο στον χρόνο αποστολής. Για παράδειγμα, μια συσκευή AWS Snowball 80 terabyte ενδέχεται να αποσταλεί με courier την επόμενη μέρα, επιτυγχάνοντας έναν φαινομενικό ρυθμό δεδομένων άνω των οκτώ gigabits ανά δευτερόλεπτο. Αλλά αυτό αγνοεί το χρόνο που απαιτείται για την απόκτηση της συσκευής, τη ρύθμιση παραμέτρων και τη φόρτωσή της, την προετοιμασία για επιστροφή και τη δυνατότητα στον προμηθευτή cloud να αντιγράψει τα δεδομένα στο πίσω μέρος. Οι πελάτες μας που το κάνουν αυτό αναφέρουν τακτικά ότι οι χρόνοι ανάκαμψης τεσσάρων εβδομάδων (από παραγγελία συσκευής σε δεδομένα διαθέσιμα στο cloud) είναι συνηθισμένοι. Αυτό μειώνει τον πραγματικό ρυθμό μεταφοράς δεδομένων της αποστολής της συσκευής σε μόλις 300 megabit ανά δευτερόλεπτο, πολύ λιγότερο εάν η συσκευή δεν έχει γεμίσει πλήρως.

Οι ταχύτητες μεταφοράς δικτύου εξαρτώνται επίσης από διάφορους παράγοντες, κυρίως από την τοπική ανερχόμενη ζεύξη. Δεν μπορείτε να στείλετε δεδομένα πιο γρήγορα από τον φυσικό ρυθμό bit, αν και η προσεκτική προετοιμασία δεδομένων μπορεί να μειώσει την ποσότητα των δεδομένων που πρέπει να στείλετε. Τα παλαιότερα πρωτόκολλα, συμπεριλαμβανομένων εκείνων που χρησιμοποιούν οι προμηθευτές cloud από προεπιλογή για αποθήκευση αντικειμένων, αντιμετωπίζουν δυσκολίες με την ταχύτητα και την αξιοπιστία σε διαδρομές Διαδικτύου μεγάλων αποστάσεων, γεγονός που μπορεί να κάνει δύσκολη την επίτευξη αυτού του ρυθμού bit. Θα μπορούσα να γράψω πολλά άρθρα σχετικά με τις προκλήσεις που ενέχονται εδώ, αλλά αυτό είναι ένα που δεν χρειάζεται να λύσετε τον εαυτό σας. Η Data Expedition είναι μία από τις λίγες εταιρείες που ειδικεύονται στην εξασφάλιση της πλήρους χρήσης της διαδρομής ανεξάρτητα από το πόσο μακριά βρίσκονται τα δεδομένα σας από τον προορισμό του στο cloud. Για παράδειγμα, μια σύνδεση στο Διαδίκτυο gigabit με λογισμικό επιτάχυνσης όπως το CloudDat αποδίδει 900 megabit ανά δευτερόλεπτο, τρεις φορές την καθαρή απόδοση ενός AWS Snowball.

Η μεγαλύτερη διαφορά μεταξύ φυσικής αποστολής και μεταφοράς δικτύου είναι επίσης μια από τις πιο συχνά παραβλέπονται κατά την απόδειξη της έννοιας. Με φυσική αποστολή, το πρώτο byte που φορτώνετε στη συσκευή πρέπει να περιμένει έως ότου φορτωθεί το τελευταίο byte για να μπορέσετε να αποστείλετε. Αυτό σημαίνει ότι αν χρειαστούν εβδομάδες για τη φόρτωση της συσκευής, τότε ορισμένα από τα δεδομένα σας θα είναι εβδομάδες ξεπερασμένες έως τη στιγμή που θα φτάσει στο cloud. Ακόμα και όταν τα σύνολα δεδομένων φτάνουν στα επίπεδα petabyte όπου η φυσική αποστολή μπορεί να είναι ταχύτερη σε γενικές γραμμές, η δυνατότητα διατήρησης των δεδομένων προτεραιότητας σε εξέλιξη κατά τη διαδικασία μετεγκατάστασης μπορεί να ευνοεί τη μεταφορά δικτύου για βασικά στοιχεία. Ο προσεκτικός προγραμματισμός κατά τη φάση φιλτραρίσματος και ιεράρχησης της προετοιμασίας δεδομένων είναι απαραίτητος και μπορεί να επιτρέψει μια υβριδική προσέγγιση.

Η λήψη των δεδομένων σε πάροχο cloud ενδέχεται να μην είναι το τέλος του βήματος μεταφοράς δεδομένων. Εάν πρέπει να αναπαραχθεί σε πολλές περιοχές ή παρόχους, σχεδιάστε προσεκτικά πώς θα φτάσει εκεί. Η μεταφόρτωση μέσω Διαδικτύου είναι δωρεάν, ενώ το AWS, για παράδειγμα, χρεώνει έως και δύο σεντ ανά gigabyte για διαπεριφερειακή μεταφορά δεδομένων και εννέα σεντ ανά gigabyte για μεταφορά σε άλλους προμηθευτές cloud. Και οι δύο μέθοδοι θα αντιμετωπίσουν περιορισμούς εύρους ζώνης που θα μπορούσαν να επωφεληθούν από την επιτάχυνση μεταφοράς όπως το CloudDat.

Σημείο συμφόρησης μετανάστευσης # 6: Κλίμακα σύννεφων

Μόλις τα δεδομένα φτάσουν στον προορισμό τους στο cloud, η διαδικασία μετεγκατάστασης ολοκληρώνεται μόνο κατά το ήμισυ. Το Checksums έρχεται πρώτο: Βεβαιωθείτε ότι τα byte που έφτασαν ταιριάζουν με αυτά που στάλθηκαν. Αυτό μπορεί να είναι πιο δύσκολο από ό, τι μπορεί να συνειδητοποιήσετε. Ο χώρος αποθήκευσης αρχείων χρησιμοποιεί επίπεδα προσωρινής μνήμης που μπορούν να αποκρύψουν την καταστροφή δεδομένων που μόλις ανεβάστηκαν. Τέτοια διαφθορά είναι σπάνια, αλλά έως ότου ξεκαθαριστεί όλα από τις κρυφές μνήμες και να διαβάσετε ξανά τα αρχεία, δεν μπορείτε να είστε σίγουροι για τυχόν αθροίσματα ελέγχου. Η επανεκκίνηση της παρουσίας ή η αποσύνδεση του χώρου αποθήκευσης κάνει μια ανεκτή δουλειά για την εκκαθάριση κρυφής μνήμης.

Η επικύρωση των αθροίσεων ελέγχου αποθήκευσης αντικειμένων απαιτεί να διαβάζεται κάθε αντικείμενο σε μια παρουσία για υπολογισμό. Σε αντίθεση με τη δημοφιλή πεποίθηση, το αντικείμενο "E-tags" είναι δεν χρήσιμο ως αθροίσματα ελέγχου. Τα αντικείμενα που ανεβαίνουν χρησιμοποιώντας τεχνικές πολλαπλών τμημάτων μπορούν να επικυρωθούν μόνο με την ανάγνωσή τους.

$config[zx-auto] not found$config[zx-overlay] not found