του Αλέξανδρου Σχισμένου
Η εισαγωγή συστημάτων Τεχνητής Νοημοσύνης (ΤΝ) στη διερεύνηση εγκλημάτων υψηλής βαρύτητας, όπως αναδεικνύεται από την ομολόγημένη χρήση άγνωστου λογισμικού από τις αστυνομικές αρχές για την υποτιθέμενη ταυτοποίηση των κατηγορουμένων για το φονικό έγκλημα της Marfin έπειτα από 16 χρόνια, εγείρει κρίσιμα ερωτήματα σχετικά με τη δικαιοσύνη, τη διαφάνεια και τη δικονομική ορθότητα τον καιρό της Ψηφιακής Βαρβαρότητας.
Όπως έχω υποστηρίξει αλλού, η ψηφιακή βαρβαρότητα στον 21ο αιώνα δεν είναι μόνο η θεσμοποιημένη βία, αλλά η τεχνοκρατική αλλοτρίωση που επιβάλλεται μέσα από μηχανισμούς των οποίων η λειτουργία αποκρύπτεται από τον δημόσιο διάλογο. Όταν η αστυνομική εξουσία χρησιμοποιεί «μαύρα κουτιά» (black boxes) για να υποδείξει τον ένοχο, εισάγουμε στη δικαιοσύνη μια μορφή «ψηφιακού πεπρωμένου», όπου η ευθύνη εκτοπίζεται από την αυθαιρεσία.
Η περίπτωση της Marfin καθίσταται το οριακό σημείο όπου οι θεσμοί δικαίου έρχονται αντιμέτωποι με την αλγοριθμική αυθαιρεσία. Όπως αναφέρθηκε στα ΜΜΕ:
“Η τεχνητή νοημοσύνη χρησιμοποιήθηκε επίσης για τη βελτίωση της ποιότητας των εικόνων και την επιβεβαίωση χαρακτηριστικών των προσώπων. Την ταυτοποίηση επιβεβαίωσε και ο Προϊστάμενος των Εγκληματολογικών Εργαστηρίων της Αστυνομίας, ενώ το Τμήμα Ψηφιακών Πειστηρίων της ΕΛ.ΑΣ. επεξεργάστηκε συστηματικά όλα τα νέα στοιχεία που προέκυψαν από την έρευνα.”
Επί προκειμένω, η δικηγόρος των κατηγορουμένων, Άννυ Παπαρρούσου, δήλωσε πως “έχει γίνει μια επεξεργασία η οποία δεν αρμόζει σε μια σοβαρή δικογραφία.” Χωρίς να εισέλθουμε στις λεπτομέρειες της υπόθεσης, ας δούμε κάποια μόνο από τα ευρύτερα ερωτήματα που εγείρονται μόνο και μόνο από τη χρήση ΤΝ.
Ποιος ελέγχει την «αλήθεια» του αλγορίθμου;
Όπως σημειώνει ο Frank Pasquale στο The Black Box Society (2015), η αδιαφάνεια των αλγορίθμων είναι το θεμέλιο μιας νέας μορφής κοινωνικής επιτήρησης, όπου η κρίση δεν είναι πλέον προϊόν διαλογικής διαδικασίας, αλλά «δεδομένο» (data output) που επιβάλλεται άνωθεν. Ο ίδιος μιλά για τη θέσμιση μιας αδιαφανούς αλγοριθμικής κοινωνίας [black box society]:
«Η κοινωνία του “μαύρου κουτιού” χαρακτηρίζεται από τη χρήση ιδιωτικών αλγορίθμων για τη λήψη αποφάσεων που αλλάζουν τη ζωή των ανθρώπων, χωρίς τη διαφάνεια ή τη δέουσα διαδικασία που απαιτούν τα δημοκρατικά νομικά συστήματα.» (Pasquale, 2015)
Εάν βρισκόμαστε ήδη σε μία τέτοια κοινωνία, όπου άνθρωποι μπορούν να συλληφθούν βάσει αλγοριθμικών ενδείξεων, συμπεραίνουμε πως η δεδομενοποίηση [datafication]των προσώπων σημαίνει τη μετατροπή της δικαστικής οδού σε μια προαποφασισμένη διαδικασία επιλογής ενόχων με όρους ψηφιακής πρόβλεψης, δηλαδή τη μετάπτωση του ποινικού δικαίου σε προληπτική καταστολή. Πρέπει να αναρωτηθούμε εάν οι καταχρήσεις των αρχών μας οδηγούν σε μια τέτοια δυστοπία, ιδίως όσον αφορά υποθέσεις με πολιτικό χρωματισμό.
Πόσο έγκυρα μπορούν να θεωρηθούν τα αποτελέσματα της ΤΝ;
Τα σύγχρονα συστήματα ΤΝ, παρά την υπολογιστική τους ισχύ, παρουσιάζουν εγγενείς αδυναμίες. Όπως επισημαίνει η Cynthia Rudin (2019), η χρήση μοντέλων «μαύρου κουτιού» για αποφάσεις υψηλού διακυβεύματος είναι επιστημολογικά προβληματική, καθώς δεν επιτρέπει την πλήρη διαφάνεια της συλλογιστικής πορείας με την οποία εξήχθη ένα συμπέρασμα. Τα μοντέλα αυτά συχνά υποφέρουν από «παραισθήσεις» (hallucinations) και αδυναμία αιτιολόγησης της συλλογιστικής τους πορείας. Όταν η ενοχή ενός προσώπου τεκμηριώνεται μέσω αλγοριθμικής συνδρομής, η απουσία διαφανούς συλλογιστικής παραβιάζει θεμελιώδεις αρχές της δίκαιης δίκης.
Τα Μεγάλα Γλωσσικά Μοντέλα {LLMs} είναι επιστημολογικά ασύμβατα με αποφάσεις υψηλού διακυβεύματος, όπως είναι οι δικαστικές αποφάσεις για δύο λόγους. Αφενός αλλοιώνουν τη δικαστική έρευνα, καθώς παράγουν ψευδή αποτελέσματα, και αφετέρου αλλοιώνουν την αντίληψη του ευρύτερου κοινού καθώς καταργούν τα παραδοσιακά κριτήρια διάκρισης μεταξύ πραγματικού και εικονικού. Η «παραίσθηση» (hallucination) ενός μοντέλου ΤΝ, σε ένα πλαίσιο ποινικής δίωξης, δεν είναι ένα τεχνικό σφάλμα, αλλά μια δικαστική πλάνη που ενδύεται τον μανδύα της «επιστημονικής» βεβαιότητας.
Όταν η κυβέρνηση παραδέχεται, στην περίπτωση του συμβούλου Εθνικής Ασφαλείας Θ. Ντόκου που παραπλανήθηκε από Ρώσους χάκερ ή στην περίπτωση του Predator, την παραπλάνηση των θεσμών από κακόβουλα λογισμικά, η επίκληση της ΤΝ ως «αδιάψευστου» μάρτυρα στην υπόθεση Marfin εμφανίζεται ως μια ρητορική αντίφαση. Πρόκειται για την επιβολή μιας τεχνοκρατικής ιδεολογίας που εκμεταλλεύεται τον φόβο για την ασφάλεια προκειμένου να καταλύσει τις δικονομικές εγγυήσεις.
Σε ποιες βάσεις δεδομένων έχει εκπαιδευτεί ένα μοντέλο ΤΝ;
Το ζήτημα της εκπαίδευσης των μοντέλων είναι κομβικό. Εάν ένα σύστημα ΤΝ έχει εκπαιδευτεί σε δεδομένα που προέρχονται από βάσεις «συνήθων υπόπτων» ή στοχοποιημένων κοινωνικών ομάδων, είναι πιθανό να αναπαράγει και να ενισχύει υφιστάμενες προκαταλήψεις (algorithmic bias). Οι Buolamwini και Gebru (2018) έχουν τεκμηριώσει πώς τα συστήματα αναγνώρισης προσώπων εμφανίζουν συστηματικά λάθη ανάλογα με τα δεδομένα εκπαίδευσης, οδηγώντας σε εσφαλμένες ταυτοποιήσεις. Όπως τονίζουν:
«Η ανάλυσή μας δείχνει ότι τα μοντέλα δεν είναι ουδέτερα· αποτελούν καθρέφτες των δεδομένων με τα οποία έχουν εκπαιδευτεί και αντανακλούν τις συστημικές ανισότητες των κοινωνιών από τις οποίες συλλέχθηκαν τα δεδομένα αυτά.»
Αυτό σημαίνει ότι η συμπερίληψη ενός ονόματος στις βάσεις δεδομένων των “συνήθων υπόπτων”, καθιστά πολύ πιο πιθανή την επανεμφάνιση του ονόματος αυτού σε έρευνες που αντλούν από τις βάσεις δεδομένων, ασχέτως με την πραγματική συμπεριφορά του προσώπου. Τα ψηφιακά μοτίβα πρόβλεψης συμπεριφοράς ολοκληρώνουν τον περιορισμό της προσωπικότητας σε ένός τύπου «ψηφιακό πεπρωμένο» αέναης επανάληψης του παρελθόντος. Εν απουσία πρόσβασης στον κώδικα και τα δεδομένα εκπαίδευσης («training data»), ο έλεγχος για μυθοπληροφορίες ή συστημικά σφάλματα καθίσταται αδύνατος. Η Cathy O’Neil, στα Weapons of Math Destruction (2016), επισημαίνει ότι τέτοιοι αλγόριθμοι «τιμωρούν τους φτωχούς και περιθωριοποιούν τους αδύναμους», ενισχύοντας την κοινωνική επιτήρηση. Όπως παρατηρεί:
«Τα μοντέλα είναι απόψεις ενσωματωμένες στον κώδικα. Είναι αδιαφανή, επεκτατικά και επιζήμια. Όταν τα χρησιμοποιούμε για να ασκούμε έλεγχο ή να κρίνουμε, δεν αυτοματοποιούμε την αλήθεια, αλλά την ανισότητα.»
Ποιος ελέγχει τα αποτελέσματα για παραβιάσεις προσωπικών δεδομένων;
Η ανησυχία για τη χρήση λογισμικού παρακολούθησης, σε συνδυασμό με περιστατικά παραπλάνησης θεσμικών παραγόντων από κακόβουλα λογισμικά, θέτει ζητήματα ιδιωτικότητας και προσωπικών ελευθεριών. Σύμφωνα με τη Zuboff (2019), η «εποχή του καπιταλισμού της επιτήρησης» χαρακτηρίζεται από τη συγκέντρωση τεράστιου όγκου δεδομένων που μπορούν να χρησιμοποιηθούν για την κοινωνική χειραγώγηση. Όταν το κράτος υιοθετεί τεχνολογίες των οποίων η λειτουργία είναι αδιαφανής, ο κίνδυνος κατάχρησης εξουσίας αυξάνεται, απαιτώντας μια ριζική επανεκτίμηση του πλαισίου λογοδοσίας.
Ποιος ανακριτής αποδέχεται την ΤΝ ως τεκμήριο;
Η χρήση εξελιγμένου λογισμικού ΤΝ για την ταυτοποίηση κατηγορουμένων, ειδικότερα σε υποθέσεις που ανάγονται σε βάθος χρόνου, μετατοπίζει το βάρος της αποδεικτικής διαδικασίας από τον ανακριτή στον αλγόριθμο. Η περίπτωση της αναζήτησης αυτουργών 16 χρόνια μετά, μέσω μεθόδων που βασίζονται σε Μεγάλα Γλωσσικά Μοντέλα (LLMs) ή συστήματα αναγνώρισης προτύπων, καθιστά αναγκαία την εξέταση της εγκυρότητας αυτών των εργαλείων.
Η τεχνοκρατική ορθολογικότητα τείνει να μετατρέπει τον πολίτη από αυτεξούσιο υποκείμενο σε αντικείμενο επεξεργασίας. Όταν τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) και οι αλγόριθμοι αναγνώρισης προτύπων εμπλέκονται στη στοιχειοθέτηση κατηγοριών, το υποκείμενο υφίσταται μια οντολογική υποβάθμιση: η ύπαρξή του ταυτίζεται με τα δεδομένα που «αποφασίζει» η μηχανή ότι το αφορούν. Όπως τεκμηριώνουν οι Buolamwini και Gebru (2018) στο Gender Shades, τα συστήματα ΤΝ είναι φορείς των προκαταλήψεων των δημιουργών τους. Στην περίπτωση της ποινικής δίωξης, αυτό μεταφράζεται σε μια δεδομενοποίηση της κοινωνικής συνύπαρξης, όπου η πιθανότητα ενοχής υπολογίζεται με όρους στατιστικής συσχέτισης και όχι νομικής απόδειξης. Ωστόσο η αποδεικτική διαδικασία δεν μπορεί να υποκατασταθεί από την ψηφιακή λήψη του ζητουμένου χωρίς να καταργηθεί η ίδια η ουσία του θετικού δικαίου.
Όταν η δικαστική κρίση υποκαθίσταται από την αλγοριθμική υπόδειξη, η ακεραιότητα των θεσμών καταρρέει. Το δικαστήριο παύει να είναι ο χώρος όπου εξετάζονται αποδείξεις και γίνεται ο χώρος επικύρωσης αλγοριθμικών παραγώγων. Η Zuboff (2019) στον Καπιταλισμό της Επιτήρησης περιγράφει πώς η συγκέντρωση δεδομένων από το σύνολο του πληθυσμού μετατρέπει την κοινωνία σε μια απέραντη βάση δεδομένων προς «εξόρυξη» ενοχής.
Η ανεξέλεγκτη χρήση λογισμικού παρακολούθησης και αδιαφανών συστημάτων ΤΝ από τις διωκτικές αρχές παραπέμπει σε μια κατάσταση όπου το κράτος αναστέλλει τους κανόνες της διαφανούς δικονομίας για να επιτύχει «αποτελέσματα». Ωστόσο, η αποτελεσματικότητα αυτή είναι κενή νομιμοποίησης. Η ψηφιακή βαρβαρότητα στο δικαστικό πεδίο έγκειται ακριβώς στην κατάργηση της αμφιβολίας και του τεκμηρίου της αθωότητας, που αποτελούν πυλώνες του ποινικού δικαίου. Εάν η υπεράσπιση δεν μπορεί να αμφισβητήσει τον τρόπο λειτουργίας του αλγορίθμου, το δικαίωμα στη δίκαιη δίκη καθίσταται κενό γράμμα.
Συνεπώς, η πρόκληση που θέτει η χρήση ΤΝ στην ποινική διαδικασία δεν είναι μόνο τεχνολογική ή νομική, αλλά βαθιά πολιτική. Εάν όλοι γνωρίζουν ότι τα συστήματα ΤΝ είναι ακατάλληλα για την εξαγωγή ασφαλών αποδείξεων και συμπερασμάτων, προς τι η διαφήμιση της χρήσης της; Ασφαλώς, πρόκειται για λόγους πολιτικής προπαγάνδας, προκειμένου να καλυφθούν ανεπαρκείς διώξεις πίσω από την ιδεολογία της μυθοπληροφορίας, δηλαδή την ιδεολογία της αλγοριθμικής αποτελεσματικότητας. Μα ως τέτοια, η χρήση της ΤΝ για ποινικούς σκοπούς από την πλευρά των κρατικών αρχών σημαίνει επίσης την καταβύθιση σε μια προληπτική καταστολή των αντιπάλων του καθεστώτος με τεχνολογικό μανδύα. Ένας αυτοματοποιημένος ψηφιακός μηχανισμός κατασκευής ενόχων υπηρετεί ένα διπλό σκοπό: από τη μία αναπαράγει τον στιγματισμό συγκεκριμένων προσώπων ως υπόπτων και τον ψηφιακό εγκλωβισμό κοινωνικών ομάδων σε στοχοποιημένες κατηγορίες, ενώ από την άλλη ενισχύει την επίσημη προπαγάνδα με την αποχαυνωτική ρητορική της ψηφιακής ορθολογικότητας. Ένα ψηφιακά αναλφάβητο κοινό είναι πιο επιρρεπές στην επίκληση της απρόσωπης ψηφιακής αυθεντίας και φαίνεται πως οι συντάκτες των αστυνομικών ανακοινώσεων εκτίμησαν την επίστρωση καινοτομίας που δίνει η επίκληση της ΤΝ στα επίσημα αφηγήματα.
Σε βάθος χρόνου, η μαζική διασπορά των αφηγημάτων περί “επιτυχημένης” θεσμικής χρήσης συστημάτων ΤΝ μπορεί να αμβλύνει τις αντιστάσεις της κοινωνίας στην κεντρική κρατική επιλογή της ανέγερσης κέντρων δεδομένων [data centers]παράτο αβάσταχτο οικολογικό και κοινωνικό κόστος.
Απαιτείται ένας βαθύς μετασχηματισμός της σχέσης της κοινωνίας με την ψηφιακή τεχνολογία και η αμφισβήτηση των μηχανισμών διαμεσολάβησης μεταξύ της τεχνολογίας και της θεσμισμένης εξουσίας. Για κάτι τέτοια απαιτείται αντιστοίχως ένα ευρύτερο κοινωνικό κίνημα ψηφιακής αυτονομίας που δεν υπάρχει αυτή τη στιγμή. Μα ακόμη και χωρίς αυτό, προκειμένου να διασωθεί έστω το πρωτόκολλο της δικονομικής εγκυρότητας και οι θεσμικοί περιορισμοί της κατασταλτικής εξουσίας πρέπει να τεθούν άμεσα κάποια βασικά πολιτικά αιτήματα:
Η αλγοριθμική διαφάνεια (algorithmic accountability) κάθε λογισμικού Τεχνητής Νοημοσύνης που χρησιμοποιούν θεσμικοί φορείς: Χρειάζεται να υπάρχει πλήρης δυνατότητα δημόσιου ελέγχου των δεδομένων εκπαίδευσης και του κώδικα του εκάστοτε λογισμικού, όπως και να θεσμοθετηθεί η χρήση αποκλειστικά μοντέλων εξηγήσιμης Τεχνητής Νοημοσύνης [explainable AI]από δημόσιους φορείς.
Η ρητή απαγόρευση της τεχνολογικής αδιαφάνειας στη δικονομία: Καμία δικαστική κρίση δεν πρέπει να βασίζεται σε αδιαφανή συστήματα ΤΝ.
Η αντίσταση στην τεχνοκρατική αλλοτρίωση και η υπεράσπιση της αυτοπρόσωπης δίκης: Η προτεραιότητα του ανθρώπινου παράγοντα και η διασφάλιση της δημοσιότητας σε κάθε στάδιο της απονομής δικαιοσύνης με σαφείς όρους λογοδοσίας των αρχών, πρέπει να τεθεί ως εγγύηση ενάντια στην τεχνοκρατική χειραγώγηση.
Αυτά τα αιτήματα δεν είναι επαναστατικά, ούτε οδηγούν στην ψηφιακή αυτονομία, μα είναι απαραίτητα θεσμικά αναχώματα στη βαρβαρότητα. Τα σκιαγραφεί ακόμη και το Αμερικανικό Ινστιτούτο δικονομικής έρευνας Justice Speakers Institute, σε μελέτη του με τίτλο “Governing AI before it governs the justice system”:
«Δεν πρέπει να ζητείται από το δικαστικό σύστημα να “προλάβει” την τεχνολογία που έχει ήδη αναδιαμορφώσει τον τρόπο λειτουργίας του… Απαιτείται από το σύστημα να επιβεβαιώσει τις γνωστές θεσμικές αξίες σε ένα νέο πλαίσιο: διαφάνεια, λογοδοσία, αξιοπιστία και δικαιοσύνη.»
Πρέπει να κατανοήσουμε ότι υπάρχει ένα πυκνό και ισχυρότατο διεθνές πλέγμα συμφερόντων που προωθεί την επέκταση των εφαρμογών ΤΝ σε όλους τους τομείς της κοινωνικής ζωής. Φαίνεται ότι αυτό το πλέγμα είναι συμβατό με την κυρίαρχη θεσμισμένη ολιγαρχία, παρότι οι σκοποί του είναι φαινομενικά αντίθετοι προς οποιαδήποτε έννοια κράτους δικαίου. Φαινομενικά, διότι σε βαθύτερο επίπεδο υπάρχει το δίκαιο του κράτους. Ίσως η ίδια η έννοια του δικαίου αποδειχτεί παραίσθηση της Τεχνητής Νοημοσύνης, εάν δεν την διαφυλάξει η θεσμίζουσα κοινωνία.
Βιβλιογραφικές Αναφορές
- Buolamwini, J., & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research.
- O’Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown.
- Pasquale, F. (2015). The Black Box Society: The Secret Algorithms That Control Money and Information. Harvard University Press.
- Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence.
- Σχισμένος, Α. (2024). Τεχνολογία και Βαρβαρότητα: Κριτική της Τεχνητής Νοημοσύνης, Athens School
- Zuboff, S. (2019). The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. PublicAffairs.
.
