Τεχνητή Νοημοσύνη και Υγεία: Ποιος πληρώνει όταν η Τεχνητή Νοημοσύνη αποτυγχάνει;

Η υγειονομική περίθαλψη βιώνει έναν σημαντικό μετασχηματισμό χάρη στην Τεχνητή Νοημοσύνη (AI) και τη Μηχανική Μάθηση (ML). Από την υποστήριξη κλινικών αποφάσεων και τη διάγνωση μέχρι την ταξινόμηση ασθενών και την επεξεργασία αξιώσεων, η AI προσφέρει οφέλη στην ταχύτητα, την ακρίβεια και την αποτελεσματικότητα. Ωστόσο, μαζί με αυτή την πρόοδο έρχεται και η δύσκολη αλήθεια: η AI εισάγει νέους τύπους κινδύνου, συμπεριλαμβανομένης της αλγοριθμικής μεροληψίας, της αδιαφάνειας της λογοδοσίας και των σφαλμάτων του συστήματος. Το κεντρικό ερώτημα που προκύπτει είναι: ποιος φέρει την ευθύνη όταν η Τεχνητή Νοημοσύνη αποτυγχάνει;

Η Ραγδαία Άνοδος της AI/ML στον Ιατροτεχνολογικό Τομέα

Η AI/ML έχει κατακτήσει πάνω από 1.000 εγκρίσεις στις ΗΠΑ. Μόνο την τελευταία επταετία, οι εγκρίσεις συσκευών με δυνατότητα AI/ML από τον Οργανισμό Τροφίμων και Φαρμάκων των ΗΠΑ (FDA) εκτοξεύθηκαν από μονοψήφια νούμερα σε 223 το 2023. Η Ακτινολογία κυριαρχεί στην κούρσα της AI/ML, αντιπροσωπεύοντας το 75% όλων των εγκρίσεων AI/ML από το 2010, καθώς οι αλγόριθμοι επεξεργασίας εικόνας υπερτερούν του ανθρώπινου ματιού στην αναζήτηση μοτίβων σε pixels. Άλλες ειδικότητες, όπως η καρδιολογία, σημειώνουν επίσης μεγάλη πρόοδο.

Η επιτυχία των σύγχρονων εργαλείων AI/ML καθορίζεται από το λογισμικό. Σήμερα, περίπου το 24% των εγκρίσεων αφορά ενσωματωμένο λογισμικό, ενώ τα τρία τέταρτα των εγκεκριμένων προϊόντων αποτελούνται από αυτόνομο λογισμικό και αλγορίθμους (Software as a Medical Device - SaMD). Το SaMD αντιπροσωπεύει το 71% όλων των εγκρίσεων AI/ML. Οι «θερμές ζώνες» ανάπτυξης AI/ML βρίσκονται στην περιοχή του Κόλπου του Σαν Φρανσίσκο, στο Τελ Αβίβ, στη Σεούλ, στο Παρίσι και στη Σαγκάη.

Αναδυόμενοι Κίνδυνοι και Προκλήσεις

Παρά τα οφέλη, η αυξημένη εξάρτηση του τομέα της υγείας από την AI εισάγει ένα φάσμα κινδύνων. Μεταξύ αυτών περιλαμβάνονται:

• AI ως εργαλείο για εγκλήματα: Εγκληματίες χρησιμοποιούν ήδη την AI για να διευκολύνουν εγκλήματα κατά επιχειρήσεων, όπως ransomware και social engineering.
• Ευθύνες που προκύπτουν από «παραπλανήσεις» δεδομένων (data hallucinations), μεροληψία και άλλες αποτυχίες απόδοσης της AI: Υπάρχουν πάνω από 140 αγωγές σε εκκρεμότητα στις ΗΠΑ που σχετίζονται με την AI, οι οποίες συνήθως προκύπτουν από παραπλανήσεις, μεροληψία ή άλλες αποτυχίες απόδοσης. Για παράδειγμα, διαγνωστικά εργαλεία AI έχουν αποδειχθεί λιγότερο ακριβή για ασθενείς με συγκεκριμένους τόνους δέρματος, οδηγώντας σε λανθασμένες διαγνώσεις και καθυστερημένες θεραπείες. Επίσης, μοντέλα AI για ανίχνευση απάτης έχουν αντιμετωπίσει προκλήσεις ακρίβειας και δικαιοσύνης, με ορισμένους παρόχους υγειονομικής περίθαλψης να ισχυρίζονται ότι αυτά τα συστήματα έχουν εσφαλμένα επισημάνει νόμιμες αξιώσεις ως δόλιες.
• Απώλεια επιχειρηματικού εισοδήματος: Η αυξημένη εξάρτηση από συστήματα AI σε συνδυασμό με σχετικά υψηλά ποσοστά παραπλανήσεων και άλλα προβλήματα απόδοσης παρουσιάζει έκθεση σε απώλεια εισοδήματος επιχειρηματικής δραστηριότητας για επιχειρήσεις υγειονομικής περίθαλψης όπου ένα μοντέλο AI απαιτεί διακοπή λειτουργίας.

Το Ρυθμιστικό Τοπίο και οι Προκλήσεις του FDA

Ο FDA έχει επενδύσει σημαντικά σε τεχνογνωσία και ικανότητες για να διατηρήσει την καινοτομία σε εξέλιξη. Ωστόσο, ο μέσος χρόνος έγκρισης για συσκευές AI/ML είναι 25% μεγαλύτερος από ό,τι για συσκευές χωρίς AI/ML, περίπου τέσσερις επιπλέον εβδομάδες. Η χρήση τρίτων αξιολογητών βοηθά, αν και η βελτίωση του χρόνου έγκρισης για την AI/ML είναι μικρότερη σε σύγκριση με τα μη-AI/ML προϊόντα. Μόνο τρεις συσκευές AI/ML που έχουν εγκριθεί μέχρι σήμερα διαθέτουν προσαρμοστική λογική με εγκεκριμένο «Πρόγραμμα Ελέγχου Προκαθορισμένων Αλλαγών» (Predetermined Change Control Plan - PCCP), και καμία συσκευή με δυνατότητα Γενετικής AI (GenAI) δεν έχει λάβει έγκριση. Η διαφύλαξη της ιδιωτικότητας και της ασφάλειας των δεδομένων αποτελεί επίσης ένα κρίσιμο εμπόδιο για την εισαγωγή καινοτομιών στην αγορά, σύμφωνα με έρευνα σε στελέχη ιατροτεχνολογίας.

Οι νομοθέτες έχουν κινηθεί γρήγορα για να εντοπίσουν τις απειλές που ενδεχομένως θέτει η AI. Ο Νόμος της ΕΕ για την AI (EU AI Act), που τέθηκε σε ισχύ τον Αύγουστο του 2024 και θα είναι πλήρως εφαρμόσιμος τον Αύγουστο του 2026, έχει εξωεδαφική εμβέλεια, επηρεάζοντας και μη-ΕΕ επιχειρήσεις υγειονομικής περίθαλψης που χρησιμοποιούν αποτελέσματα AI εντός της ΕΕ. Ο Νόμος εισάγει ένα διαβαθμισμένο σύστημα ποινών, με τις σοβαρότερες παραβιάσεις να υπόκεινται σε μέγιστο πρόστιμο 35 εκατομμυρίων ευρώ ή 7% του παγκόσμιου ετήσιου κύκλου εργασιών.

Κάλυψη Κινδύνου AI: Υπάρχουν Κενά στις Υπάρχουσες Ασφαλιστικές Λύσεις;

Η κάλυψη για κινδύνους που σχετίζονται με την AI είναι ένας εξελισσόμενος τομέας. Ενώ η αυξημένη χρήση της AI αναμφίβολα θα ενισχύσει τους υφιστάμενους κινδύνους που καλύπτονται ήδη από τα καθιερωμένα ασφαλιστικά προϊόντα (ιδίως τον κυβερνοκίνδυνο), έχει ήδη ανοίξει και θα συνεχίσει να ανοίγει νέους κινδύνους. Τα  παραδοσιακά ασφαλιστήρια συμβόλαια, όπως η ασφάλιση κυβερνοχώρου, επαγγελματικής ευθύνης υγειονομικής περίθαλψης, D&O (Διευθυντών και Αξιωματούχων), γενικής ευθύνης, ευθύνης εργοδότη, κλινικών δοκιμών και περιουσίας, δεν καλύπτουν συνήθως ρητά τους κινδύνους AI, αλλά ούτε τους αποκλείουν ρητά.

Αυτό έχει οδηγήσει στην εμφάνιση νέων ασφαλιστικών προϊόντων που έχουν σχεδιαστεί ειδικά για την αντιμετώπιση κινδύνων AI που δεν καλύπτονται από τις παραδοσιακές πολιτικές. Αυτά τα προϊόντα προσφέρουν συνήθως κάλυψη για:

• Πρόστιμα που σχετίζονται με τη χρήση AI.
• Μη εξουσιοδοτημένη χρήση δεδομένων ή πνευματικής ιδιοκτησίας σε μοντέλα AI.
• Ευθύνες από «παραπλανήσεις» AI.

Βέλτιστες Πρακτικές Διακυβέρνησης και Διαχείρισης Κινδύνων

Για την αποτελεσματική διαχείριση των κινδύνων AI, οι επιχειρήσεις υγειονομικής περίθαλψης θα πρέπει να λάβουν υπόψη:

• Εφαρμογή διακυβέρνησης και εποπτείας: Τα διοικητικά συμβούλια πρέπει να δώσουν προτεραιότητα στη διαχείριση κινδύνων AI, διασφαλίζοντας ότι τα συστήματα επικυρώνονται, παρακολουθούνται και συμμορφώνονται με τους εξελισσόμενους κανονισμούς.
• Εκπαίδευση προσωπικού: Η ευαισθητοποίηση σχετικά με τους περιορισμούς και τους κινδύνους της AI είναι ζωτικής σημασίας για την ασφαλή ανάπτυξη και χρήση της.
• Χαρτογράφηση συστημάτων AI: Προσδιορισμός του επιδιωκόμενου σκοπού, των δυνητικά ωφέλιμων χρήσεων, των ειδικών για το πλαίσιο νόμων και των ρυθμίσεων.
• Αξιολόγηση και μέτρηση του κινδύνου: Αξιολόγηση, ανάλυση και παρακολούθηση των κινδύνων.
• Προτεραιοποίηση και δράση για τον κίνδυνο: Δημιουργία μελέτης αντικτύπου και προταραιοποίηση των κινδύνων.
• Εφαρμογή κατάλληλων ασφαλιστικών στρατηγικών: Μια λεπτομερής αξιολόγηση των ειδικών απειλών AI, ακολουθούμενη από ποσοτικοποίηση αυτών των απειλών, μαζί με μια αξιολόγηση της διαθέσιμης ασφαλιστικής κάλυψης.

Ενώ η AI βρίσκεται ακόμη σε αρχικό στάδιο ανάπτυξης, η μαζική της υιοθέτηση στον τομέα της υγείας επιταχύνεται. Η διαχείριση των κινδύνων που σχετίζονται με τις αποτυχίες της AI, συμπεριλαμβανομένων των νομικών και οικονομικών συνεπειών, απαιτεί μια προληπτική προσέγγιση από τις επιχειρήσεις και την συνεχή προσαρμογή στις απαιτήσεις του ρυθμιστικού και ασφαλιστικού πλαισίου.