Μετά το περιβόητο σκάνδαλο των ολλανδικών παροχών – που ξεκίνησε τη δεκαετία του 2000 και για το οποίο πρέπει να αποζημιωθούν οι αδικημένοι -, η Ολλανδία είναι και πάλι το σκηνικό της λανθασμένης εφαρμογής ενός αλγορίθμου από την κυβέρνηση. Αυτή τη στιγμή, ο κύριος ηθοποιός είναι η Dienst Uitvoering Onderwijs ( DUO ), η ολλανδική υπηρεσία που είναι υπεύθυνη για την κατανομή και την πληρωμή φοιτητικών δανείων σε όσους είναι εγγεγραμμένοι στην ολλανδική τριτοβάθμια εκπαίδευση. Συγκεκριμένα, το DUO χρησιμοποίησε έναν αλγόριθμο στο έργο επιβολής του, δηλαδή για να επαληθεύσει εάν τα φοιτητικά δάνεια έχουν κατανεμηθεί σωστά. Το 2012, το DUO ξεκίνησε τη χρήση αυτού του «εσωτερικού» αλγόριθμου, τον οποίο ο Υπουργός Παιδείας –στην ευθύνη του οποίου εμπίπτει το DUO– διέκοψε στις 23 Ιουνίου. Οι εξελίξεις στην Ολλανδία αποτελούν επιτομή των υποσχέσεων και των παγίδων της περαιτέρω ενσωμάτωσης της αυτοματοποιημένης λήψης αποφάσεων ( ADM ) στη δημόσια διοίκηση. Από τη μία πλευρά, το ADM – μερικές φορές χαρακτηρίζεται ως «τεχνητή νοημοσύνη» – είναι φθηνό και υπόσχεται κέρδη αποδοτικότητας. Από την άλλη πλευρά, τα συστήματα ADM μπορεί να είναι επιρρεπή σε σφάλματα όταν αντιμετωπίζουν τις περίπλοκες πραγματικότητες της κοινωνικής ζωής και τη νομική ασάφεια.
Αυτή η συνεισφορά εξηγεί τα γεγονότα της χρήσης του αλγορίθμου που χρησιμοποιεί το DUO, ο οποίος βασίζεται σε μεγάλο βαθμό σε άρθρα ειδήσεων ( εδώ και εδώ ). Επιπλέον, αυτή η ανάρτηση ιστολογίου περιγράφει τις ιδιαιτερότητες του αλγορίθμου, όπως είναι σήμερα γνωστό, και συζητά ποια θεμελιώδη δικαιώματα και αρχές διακυβεύονται. Τέλος, αυτό το κομμάτι προτείνει μια ερευνητική ατζέντα που προτείνει τις μελλοντικές προσεγγίσεις για να διασφαλιστεί η επαρκής χρήση της τεχνητής νοημοσύνης από τη δημόσια διοίκηση. Έτσι, αυτή η ενότητα μεγεθύνεται και εστιάζει στην ευρύτερη εικόνα, δηλαδή στη χρήση αυτοματοποιημένων συστημάτων λήψης αποφάσεων – τα οποία είναι εργαλεία βασισμένα στην τεχνητή νοημοσύνη που χρησιμοποιούν προφίλ για να προβλέψουν ένα αποτέλεσμα – από τη δημόσια διοίκηση. Αυτή η συνεισφορά δεν υποστηρίζει ότι η χρήση τέτοιων αλγορίθμων θα πρέπει να σταματήσει, αλλά μάλλον υποστηρίζει ότι πρέπει να τεθούν σε εφαρμογή ορισμένες διασφαλίσεις για την εξασφάλιση θεμελιωδών δικαιωμάτων και αρχών. Συγκεκριμένα, αυτή η συνεισφορά απαιτεί i) οι δημόσιοι διαχειριστές που εργάζονται με συστήματα ADM να έχουν επαρκείς γνώσεις σχετικά με τον τρόπο λειτουργίας αυτών των συστημάτων, ii) την πρόληψη της όρασης σε σήραγγες και iii) την ανάπτυξη διαφανών συστημάτων ADM για την επίτευξη ακριβών και αντιπροσωπευτικών αποτελεσμάτων.
Ρύθμιση του σκηνικού – Η χρήση του συστήματος ADM από το DUO σε διοικητικές αποφάσεις
Οι σπουδαστές που είναι εγγεγραμμένοι στην ολλανδική τριτοβάθμια εκπαίδευση μπορεί να δικαιούνται να λάβουν φοιτητικά δάνεια – και ανάλογα με το εισόδημα των γονέων ή των νόμιμων κηδεμόνων του φοιτητή, επιχορήγηση υπό τον όρο της επιτυχούς απόκτησης του πτυχίου – για τη χρηματοδότηση των σπουδών τους. Το ποσό των φοιτητικών δανείων ποικίλλει και εξαρτάται από το αν ο φοιτητής αποφασίζει να ζήσει με τους γονείς ή τους νόμιμους κηδεμόνες του ή μάλλον αλλού. Συγκεκριμένα, οι μαθητές δικαιούνται μεγαλύτερο ποσό, εφόσον i) είναι επίσημα εγγεγραμμένοι σε διαφορετική διεύθυνση από αυτή των γονέων ή των νόμιμων κηδεμόνων τους και ii) – στην πραγματικότητα – διαμένουν στην εγγεγραμμένη διεύθυνση. Για να επαληθεύσει εάν αυτά τα φοιτητικά δάνεια πληρώθηκαν σωστά, η DUO χρησιμοποίησε ένα σύστημα ADM για να προβλέψει ποιοι φοιτητές ισχυρίστηκαν πιθανότατα ψευδώς ότι ζουν μακριά από το σπίτι – αλλά ουσιαστικά επιλέγουν να ζουν με τους γονείς ή τους νόμιμους κηδεμόνες τους – και έτσι έχουν λάβει ψευδώς το μεγαλύτερο ποσό φοιτητικών δανείων. Αυτή η ανάρτηση ιστολογίου χωρίζει τη διαδικασία εντοπισμού υποτιθέμενων απατεώνων σε τέσσερα βήματα.
Πρώτον, το σύστημα ADM εντοπίζει μέσω της δημιουργίας προφίλ πιθανών δόλιων μαθητών, το οποίο ανέρχεται σε 10.000 πιθανά αρχεία ( φάση προεπιλογής ). Δεύτερον, πέντε υπάλληλοι του DUO εξετάζουν αυτά τα αρχεία για να επαληθεύσουν i) την επιφάνεια διαβίωσης του ακινήτου, ii) πόσα άτομα είναι εγγεγραμμένα στη διεύθυνση και iii) εάν ο φοιτητής ζει με ένα μέλος της οικογένειας. Αυτή η αξιολόγηση έχει ως αποτέλεσμα τη μείωση του αριθμού των αρχείων σε 1.000 ( φάση επιλογής ). Τρίτον, αυτές οι 1.000 υποθέσεις που επιλέχθηκαν πρέπει να περιμένουν επίσκεψη κατ' οίκον από επιθεωρητές DUO, οι οποίοι καθορίζουν εάν ο μαθητής ζει ουσιαστικά στην εγγεγραμμένη διεύθυνση. Κατά τη διάρκεια μιας τέτοιας επίσκεψης στο σπίτι, η οποία μπορεί να μην απαιτεί πολύ χρόνο, οι επιθεωρητές αξιολογούν καθημερινές και μερικές φορές φαινομενικά ασήμαντες υποθέσεις για να καταλήξουν στο συμπέρασμά τους. Ειδικότερα, οι επιθεωρητές μπορούν να ανοίξουν ντουλάπες για να βεβαιωθούν εάν υπάρχουν αρκετά είδη ένδυσης, να λάβουν υπόψη την ποσότητα των βιβλίων μαθημάτων, εάν το κρεβάτι έχει κοιμηθεί και να μετρήσουν τις οδοντόβουρτσες στη θήκη οδοντόβουρτσας. Δυστυχώς, αυτές οι επισκέψεις στο σπίτι πραγματοποιούνται επίσης κατά τη διάρκεια των αργιών και κατά τη διάρκεια της ημέρας – όταν οι μαθητές συνήθως δεν είναι σπίτι. Έτσι, αφού επισκέφτηκαν τρεις φορές -μάταια- την εγγεγραμμένη διεύθυνση για να αποκτήσουν πρόσβαση στις εγκαταστάσεις, οι ελεγκτές προχωρούν σε έρευνα στους γείτονες του μαθητή. Συγκεκριμένα, οι επιθεωρητές μπορούν να ρωτήσουν τους γείτονες εάν γνωρίζουν για μαθητές που ζουν στη γειτονιά. Μετά την επίσκεψη κατ' οίκον ή από σπίτι σε σπίτι, οι επιθεωρητές συντάσσουν μια έκθεση με τα ευρήματά τους σχετικά με το εάν ένας μαθητής διαμένει ουσιαστικά στην εγγεγραμμένη διεύθυνση ( φάση επιβολής ). Τέταρτον και τελευταίο, το DUO εκδίδει απόφαση βάσει της έκθεσης των επιθεωρητών. Σε περίπτωση που η DUO διαπιστώσει ότι ο μαθητής δεν κατοικεί στην εγγεγραμμένη διεύθυνση, και ως εκ τούτου έλαβε παράνομα μεγαλύτερα ποσά, ο μαθητής υποχρεούται όχι μόνο να επιστρέψει το επιπλέον ποσό αλλά και πρόστιμο ( διαχειριστική φάση ). Η λήψη μιας τέτοιας απόφασης έχει ουσιαστικά επιζήμιες συνέπειες για τους φοιτητές –οι οποίοι γενικά περιορίζονται σε περιορισμένο προϋπολογισμό–, καθώς οι αποπληρωμές και το πρόστιμο μπορεί να ανέλθουν σε χιλιάδες ευρώ και ακόμη και πάνω από 10.000 ευρώ, που είναι επομένως ένα τεράστιο ποσό για τον φοιτητικό προϋπολογισμό. Από το 2012 – έτος κατά το οποίο η DUO άρχισε να χρησιμοποιεί τον δικό της αλγόριθμο –, η DUO ανακάλυψε 9.923 περιπτώσεις πιθανής απάτης χρησιμοποιώντας αυτή τη μέθοδο.
Ιδιαιτερότητες που απορρέουν από το χρησιμοποιούμενο σύστημα ADM – ποια θεμελιώδη δικαιώματα και αρχές διακυβεύονται;
Ενώ η χρήση συστημάτων ADM για διοικητικές αποφάσεις είναι μια τάση που παρατηρείται σε όλο τον κόσμο – και επομένως δεν αποτελεί έκπληξη στην Ολλανδία -, αυτή η ανάρτηση ιστολογίου εντοπίζει τρία ανησυχητικά χαρακτηριστικά σχετικά με την απόλαυση των θεμελιωδών δικαιωμάτων και αρχών του ατόμου.
Πρώτον, η παραπάνω διαδικασία μπορεί να θέσει σε κίνδυνο το δικαίωμα στη χρηστή διοίκηση . Όπου οι επιθεωρητές διεξήγαγαν μόνο το σπίτι σε σπίτι, η έκθεση θα βασιζόταν αποκλειστικά στον καμβά που εκτελέστηκε, κάτι που δύσκολα μπορεί να θεωρηθεί ως πειστικό στοιχείο. Ένα παράδειγμα δήλωσης είναι:
Ρωτάς αν μένει κάποιος φοιτητής εδώ. Οχι. Μόνο αυτούς τους ανθρώπους και το παιδί τους συναντώ. Εκτός από αυτούς, δεν βλέπω κανέναν. Αυτό είναι το μόνο που ξέρω ». (μετάφραση του συγγραφέα)
Παραδόξως, το DUO θα έκρινε δύο από αυτές τις δηλώσεις επαρκείς για να καταλήξει στο συμπέρασμα ότι ο μαθητής δεν ζούσε στην εγγεγραμμένη διεύθυνση. Την παραμονή της επανεισαγωγής των βασικών υποτροφιών που αντικαθιστούν τα φοιτητικά δάνεια, είναι πιθανό η DUO να εντείνει το έργο της ενίσχυσης, γεγονός που καθιστά αυτήν την ανησυχία ακόμη πιο επίκαιρη. Επιπλέον, η διαδικασία διοικητικής προσφυγής στο DUO δείχνει την τάση να βασίζεται στις δηλώσεις των γειτόνων που ελήφθησαν κατά τη διάρκεια της επίσκεψης από σπίτι σε σπίτι, ανεξάρτητα από τα ανταρτήματα που υποβλήθηκαν από τον μαθητή, γεγονός που καταδεικνύει την τάση του DUO να βασιστεί αναμφίβολα στα πορίσματα των επιθεωρητών του. Αυτό δείχνει τους κινδύνους για την υποχρέωση αιτιολογίας που απαιτούν από το DUO να διευκρινίσει πώς κατέληξαν στην απόφαση ότι ο μαθητής ουσιαστικά δεν διαμένει στην εγγεγραμμένη διεύθυνση. Επιπλέον, το DUO υιοθετεί μια τέτοια απόφαση χωρίς να κάνει διάλογο με τον ενδιαφερόμενο μαθητή, γεγονός που αφήνει σε κίνδυνο το δικαίωμα ακρόασης . Επιπλέον, δεδομένου ότι αυτοί οι μαθητές δεν έλαβαν αιτιολογημένη απόφαση που να εξηγεί γιατί θεωρούνται απατεώνες, απειλείται το δικαίωμά τους για αποτελεσματική ένδικη προστασία .
Δεύτερον, προχωρώντας στα ειδικά χαρακτηριστικά του συστήματος ADM, η DUO έχει επινοήσει τον αλγόριθμο που βρίσκεται κάτω από το σύστημα ADM, ο οποίος επιτρέπει τη δημιουργία προφίλ φοιτητών που λαμβάνουν φοιτητικά δάνεια. Συγκεκριμένα, το DUO τροφοδότησε τον αλγόριθμο των λεγόμενων «δείκτες κινδύνου», ο οποίος περιελάμβανε την ηλικία του μαθητή, το μορφωτικό επίπεδο του μαθητή, τη διεύθυνση του μαθητή, τη διεύθυνση των γονέων ή των νόμιμων κηδεμόνων του μαθητή και τη διεύθυνση του εκπαιδευτικού ιδρύματος του μαθητή. Είναι πιθανό ότι όταν ένας φοιτητής ταιριάζει με έναν ή περισσότερους από αυτούς τους «δείκτες κινδύνου», αυξάνει την πιθανότητα ο φοιτητής να θεωρηθεί ότι έχει διαπράξει απάτη με τα φοιτητικά δάνεια. Ωστόσο, παραμένει ασαφές τι ακριβώς συνεπάγονται αυτοί οι «δείκτες κινδύνου», γεγονός που θέτει σε κίνδυνο την αρχή της ασφάλειας δικαίου και την αρχή της δικαιολογημένης εμπιστοσύνης . Επιπλέον –και δυνητικά πιο ανησυχητικό αφού επιδεινώνει τα παραπάνω–, παρόλο που αυτός ο αλγόριθμος δεν βασίστηκε σε κανένα νομοθετικό μέτρο αλλά με πρωτοβουλία της DUO, ο αλγόριθμος που δημιούργησε η ίδια η DUO, ωστόσο, αποτέλεσε το θεμέλιο της επιζήμιας απόφασης για την αποπληρωμή των πλεονασματικών ποσών και ενός πρόσθετου προστίμου. Συνοψίζοντας τα παραπάνω, λόγω αυτών των άγνωστων δεικτών κινδύνου, το ίδιο το σύστημα ADM εγκυμονεί σοβαρούς κινδύνους στη συνολική αρχή της διαφάνειας .
Τρίτον, μεγεθύνοντας τους δείκτες κινδύνου, το DUO φαίνεται να έχει αποτρέψει ενεργά τις άμεσες διακρίσεις, καθώς δεν τροφοδότησε τα δεδομένα του αλγορίθμου σχετικά με την εθνικότητα ή τη χώρα προέλευσης. Ωστόσο, η DUO έκανε χρήση δεδομένων μεσολάβησης που ενδέχεται να αποκαλύψουν τέτοια ευαίσθητα δεδομένα, τα οποία – με τη σειρά τους – μπορεί να οδηγήσουν σε έμμεση διάκριση. Έτσι, το δικαίωμα στη μη διάκριση μπορεί να παρεμποδιστεί. Αυτό αποδεικνύεται επίσης από τη δειγματοληψία που πραγματοποιήθηκε από το NOS op 3, ένα ολλανδικό ραδιοτηλεοπτικό πρόγραμμα, και το Investico, μια ολλανδική πλατφόρμα ερευνητικής δημοσιογραφίας. Προσέγγισαν 70 δικηγόρους που εκπροσωπούν φοιτητές που έλαβαν απόφαση από το DUO ότι δεν διέμεναν στην εγγεγραμμένη διεύθυνση, και οι οποίοι έτσι βρέθηκαν αντιμέτωποι με τα τεράστια ποσά, από τα οποία 32 δικηγόροι μοιράστηκαν 376 φακέλους. Αξιοσημείωτο είναι ότι 367 αποφάσεις απευθύνθηκαν σε μαθητές με το λεγόμενο «μεταναστευτικό υπόβαθρο», το οποίο ανέρχεται στο 97% – μια αξιοσημείωτη υπερεκπροσώπηση. Ως αποτέλεσμα της έρευνας που διεξήχθη από το NOS op 3 και την Investico, η Ολλανδική Αρχή Προστασίας Δεδομένων έχει ξεκινήσει έρευνες σχετικά με την επεξεργασία προσωπικών δεδομένων για τη δημιουργία του αλγόριθμου.
Συμπέρασμα – πώς να ενισχυθούν τα θεμελιώδη δικαιώματα έναντι της τεχνητής νοημοσύνης;
Κάνοντας ένα βήμα πίσω για να εκτιμήσουμε τη γενική τάση, δηλαδή την αυξημένη χρήση συστημάτων ADM από τη δημόσια διοίκηση με στόχο την μερική ή πλήρη αντικατάσταση διοικητικών αποφάσεων που μπορεί να έχουν σημαντικά αρνητικές επιπτώσεις στο άτομο, ο κοινός παρονομαστής σχηματίζεται από την κυβέρνηση που επιδιώκει έναν ευγενή στόχο – είτε είναι ανίχνευση απάτης, κατανομή κοινωνικών παροχών ή πρόληψη του εγκλήματος – αλλά ταυτόχρονα «θεμελιώδη δικαιώματα και αρχές. Αυτό σημαίνει ότι υπάρχει μια κραυγαλέα ανάγκη να ερευνηθεί πώς να διασφαλιστούν τα θεμελιώδη δικαιώματα και αρχές, βλέποντας τους προφανείς κινδύνους που ενέχουν οι αλγόριθμοι που χρησιμοποιούνται.
Επομένως, υποστηρίζω, πρώτον , ότι οι δημόσιοι διαχειριστές που χρησιμοποιούν αυτά τα εργαλεία που βασίζονται στην τεχνητή νοημοσύνη θα πρέπει να έχουν επαρκή γνώση σχετικά με τον τρόπο λειτουργίας του αλγόριθμου και τους κινδύνους και τα οφέλη του. Για το σκοπό αυτό, ο νόμος για την τεχνητή νοημοσύνη, όπως τροποποιήθηκε από το Ευρωπαϊκό Κοινοβούλιο , θα μπορούσε να είναι χρήσιμος, καθώς απαιτεί παιδεία τεχνητής νοημοσύνης για όσους εργάζονται με συστήματα που βασίζονται σε τεχνητή νοημοσύνη. Συγκεκριμένα, το Ευρωπαϊκό Κοινοβούλιο θεωρεί ότι μια τέτοια επαρκής γνώση θα μπορούσε να επιτευχθεί με την παροχή εκπαίδευσης, μεταξύ άλλων, σε βασικές έννοιες και στη λειτουργία της συσκευής που βασίζεται σε τεχνητή νοημοσύνη. Δεύτερον , η όραση τούνελ θα πρέπει να αποθαρρύνεται ενεργά. Από την άποψη αυτή, ο νομοθέτης μπορεί να διαδραματίσει κεντρικό ρόλο, για παράδειγμα, απαγορεύοντας την απλή αναφορά στα (συνοπτικά) πορίσματα της δημόσιας διοίκησης που επιβεβαιώνουν το αποτέλεσμα του αλγορίθμου όταν παρουσιάζονται με επαρκώς τεκμηριωμένα ανταρτήματα. Τρίτον , η πρωτοβουλία δημιουργίας και χρήσης συστημάτων ADM θα πρέπει να πηγάζει από νομοθετικά μέτρα –σε αντίθεση με διοικητικές ενέργειες–, ειδικά όταν αυτά τα συστήματα ADM ενδέχεται να επηρεάσουν αρνητικά τα άτομα. Συγκεκριμένα, όσον αφορά τα δεδομένα που χρησιμοποιούνται για την ανάπτυξη του αλγορίθμου, θα πρέπει να είναι ακριβή για την επίτευξη αντιπροσωπευτικών αποτελεσμάτων, να είναι κατασκευασμένα με διαφανή τρόπο και να προέρχονται από επαρκές μέγεθος δείγματος. Για παράδειγμα, ο νομοθέτης μπορεί να απαιτήσει τη δημοσίευση των μεταδεδομένων των δεδομένων που χρησιμοποιούνται για τη δημιουργία του συστήματος ADM. Όχι μόνο ο προγραμματιστής του συστήματος ADM και τα εξωτερικά μέρη θα λάβουν γνώση των δεδομένων που χρησιμοποιούνται, αλλά – και ίσως το πιο σημαντικό – τα μεταδεδομένα μπορεί επίσης να αποδείξουν ότι λείπουν τα δεδομένα, γεγονός που μπορεί να παρέχει πληροφορίες σχετικά με την ακρίβεια και την αναπαράσταση των αποτελεσμάτων του συστήματος ADM. s'.
Αυτή είναι μια αυτόματη μετάφραση μιας ανάρτησης που δημοσιεύτηκε στο Verfassungsblog στη διεύθυνση URL https://verfassungsblog.de/a-scandal-on-ai-in-administration-again/ στις Mon, 24 Jul 2023 22:42:32 +0000.