Η κυβερνητική υπηρεσία που μας έφερε το Διαδίκτυο έχει πλέον αναπτύξει μια ισχυρή νέα μηχανή αναζήτησης που ρίχνει φως στα περιεχόμενα του λεγόμενου Deep Web.
Ο οργανισμός Defense Advanced Research Projects Agency (DARPA) ξεκίνησε να εργάζεται στη Memex Deep Web Search Engine πριν από ένα χρόνο, και αυτή την εβδομάδα αποκάλυψε τα εργαλεία του στο Scientific American και "60 Minutes".
Το Memex, το οποίο αναπτύσσεται από 17 διαφορετικές ομάδες εργολάβων, στοχεύει στη δημιουργία ενός καλύτερου χάρτη περιεχομένου Διαδικτύου και στην αποκάλυψη προτύπων σε διαδικτυακά δεδομένα που θα μπορούσαν να βοηθήσουν τους υπαλλήλους επιβολής του νόμου και άλλους. Ενώ οι πρώτες δοκιμές επικεντρώθηκαν στη χαρτογράφηση των κινήσεων ανθρώπων, η τεχνολογία θα μπορούσε μια μέρα να εφαρμοστεί σε ερευνητικές προσπάθειες όπως η αντιτρομοκρατία, τα αγνοούμενα άτομα, η αντιμετώπιση ασθενειών και η ανακούφιση από καταστροφές.
Ο Dan Kaufman, διευθυντής του γραφείου καινοτομίας πληροφοριών στο DARPA, λέει ότι η Memex έχει να κάνει με το αόρατο. "Το Διαδίκτυο είναι πολύ, πολύ μεγαλύτερο από ό, τι πιστεύουν οι άνθρωποι", δήλωσε ο διευθυντής του προγράμματος DARPA Chris White "60 λεπτά." "Σύμφωνα με ορισμένες εκτιμήσεις, η Google, η Microsoft Bing και η Yahoo μας δίνουν πρόσβαση μόνο στο 5% περίπου του περιεχομένου στον Ιστό."
Το Google και το Bing παράγουν αποτελέσματα με βάση τη δημοτικότητα και την κατάταξη, αλλά το Memex αναζητά περιεχόμενο που συνήθως αγνοείται από τις εμπορικές μηχανές αναζήτησης, όπως μη δομημένα δεδομένα, αποσυνδεδεμένο περιεχόμενο, προσωρινές σελίδες που καταργούνται πριν από τη δυνατότητα ανίχνευσης των εμπορικών μηχανών αναζήτησης και φόρουμ συνομιλίας. Οι τακτικές μηχανές αναζήτησης αγνοούν αυτά τα βαθιά δεδομένα στο Διαδίκτυο, επειδή οι διαφημιζόμενοι στο Διαδίκτυο - όπου οι εταιρείες περιήγησης βγάζουν τα χρήματά τους - δεν ενδιαφέρονται για αυτό.
Το Memex αυτοματοποιεί επίσης τον μηχανισμό ανίχνευσης του σκοτεινού ή ανώνυμου Ιστού όπου οι εγκληματίες διεξάγουν επιχειρηματικές δραστηριότητες. Αυτές οι κρυφές σελίδες υπηρεσιών, προσβάσιμες μόνο μέσω του προγράμματος περιήγησης ανωνυμίας TOR, λειτουργούν συνήθως υπό το ραντάρ της επιβολής του νόμου που πωλεί παράνομα ναρκωτικά και άλλα λαθραία προϊόντα. Όπου κάποτε πιστεύεται ότι η δραστηριότητα του σκοτεινού Ιστού αποτελείται από περίπου 1.000 σελίδες, ο White είπε στην Scientific American ότι θα μπορούσαν να υπάρχουν μεταξύ 30.000 και 40.000 σελίδων σκοτεινού Web.
Μέχρι τώρα ήταν δύσκολο να δούμε αυτούς τους ιστότοπους με οποιονδήποτε συστηματικό τρόπο. Αλλά η Memex - την οποία ο Μανχάταν DA Cyrus Vance Jr. αποκαλεί "Αναζήτηση Google σε στεροειδή" - όχι μόνο ευρετηριάζει το περιεχόμενό τους, αλλά το αναλύει για να αποκαλύψει κρυφές σχέσεις που θα μπορούσαν να είναι χρήσιμες για την επιβολή του νόμου.
Τα εργαλεία αναζήτησης του DARPA εισήχθησαν για την επιλογή υπηρεσιών επιβολής του νόμου πέρυσι, συμπεριλαμβανομένης της νέας Μονάδας Ανταπόκρισης Ανθρώπων του Μανχάταν. Το Memex χρησιμοποιείται τώρα σε κάθε υπόθεση εμπορίας ανθρώπων που ακολουθεί και έχει διαδραματίσει ρόλο στη δημιουργία τουλάχιστον 20 ερευνών για την εμπορία σεξ. Το πρόγραμμα υπερ-φόρτισης του προγράμματος ανίχνευσης Ιστού μπορεί να εντοπίσει σχέσεις μεταξύ διαφορετικών κομματιών δεδομένων και παράγει χάρτες δεδομένων που βοηθούν τους ερευνητές να εντοπίσουν μοτίβα.
Σε μια επίδειξη για το "60 Minutes", ο White έδειξε πώς το Memex είναι σε θέση να παρακολουθεί την κίνηση των εμπόρων με βάση δεδομένα που σχετίζονται με διαδικτυακές διαφημίσεις για σεξ. "Μερικές φορές είναι συνάρτηση της διεύθυνσης IP, αλλά μερικές φορές είναι συνάρτηση ενός αριθμού τηλεφώνου ή μιας διεύθυνσης στη διαφήμιση ή στη γεωγραφική τοποθεσία μιας συσκευής που δημοσίευσε τη διαφήμιση", δήλωσε ο White. "Υπάρχουν μερικές φορές άλλα αντικείμενα που συμβάλλουν στην τοποθεσία."
Ο White τόνισε ότι το Memex δεν καταφεύγει σε πειρατεία για να ανακτήσει πληροφορίες. "Αν κάτι προστατεύεται με κωδικό πρόσβασης, δεν είναι δημόσιο περιεχόμενο και το Memex δεν το ψάχνει", είπε στο Scientific American. "Δεν θέλαμε να καλύψουμε αυτό το έργο άσκοπα, σύροντας στο φάντασμα της κατασκοπείας και της παρακολούθησης" - ένα ευαίσθητο θέμα μετά τις αποκαλύψεις του Edward Snowden από την NSA.
Το Memex πήρε το όνομά του (ένας συνδυασμός "μνήμης" και "ευρετηρίου") και έμπνευσης από μια υποθετική συσκευή που περιγράφεται από τον Vannevar Bush το 1945 που προέβλεπε την εφεύρεση υπολογιστών, Διαδικτύου και άλλων σημαντικών εξελίξεων στον τομέα της πληροφορικής των επόμενων 70 ετών. Τώρα οι DARPA και Memex φαίνεται έτοιμοι να μας φέρουν ένα βήμα πιο κοντά στο φουτουριστικό αστυνομικό τμήμα του Philip Dick που απεικονίζεται στην «Έκθεση για τη μειονότητα».
Ένας νέος γύρος δοκιμών, ο οποίος θα ξεκινήσει σε λίγες εβδομάδες, θα περιλαμβάνει ομοσπονδιακούς και περιφερειακούς εισαγγελείς, περιφερειακές και εθνικές αρχές επιβολής του νόμου, και πολλές ΜΚΟ. Σύμφωνα με την επιστημονική έκθεση της Αμερικής, στοχεύει να «δοκιμάσει νέες δυνατότητες αναζήτησης εικόνων που μπορούν να αναλύσουν φωτογραφίες ακόμη και όταν τμήματα που θα μπορούσαν να βοηθήσουν τους ερευνητές - συμπεριλαμβανομένων των προσώπων των εμπόρων ή μιας τηλεοπτικής οθόνης στο παρασκήνιο - είναι ασαφή."
Ανακαλύπτοντας καλύτερους τρόπους αλληλεπίδρασης και παρουσίασης πληροφοριών που συγκεντρώθηκαν από μια μεγαλύτερη ομάδα πηγών, "θέλουμε να βελτιώσουμε την αναζήτηση για όλους. Η ευκολία χρήσης για μη προγραμματιστές είναι απαραίτητη", δήλωσε ο White.
