Η χρήση εργαλείων τεχνητής νοημοσύνης για ιατρικές πληροφορίες γίνεται ολοένα συχνότερη, όμως νέα επιστημονικά δεδομένα δείχνουν ότι η αξιοπιστία τους παραμένει σοβαρά προβληματική.
Μελέτη που δημοσιεύθηκε στο BMJ Open – και στη συνέχεια αναδημοσιεύθηκε εν περιλήψει στο sciencealert – διαπίστωσε ότι περίπου οι μισές απαντήσεις πέντε δημοφιλών chatbots σε ερωτήματα υγείας ήταν «κάπως» ή «ιδιαίτερα» προβληματικές, ενώ σχεδόν μία στις πέντε κρίθηκε άκρως ανησυχητική.
Οι ερευνητές εξέτασαν τα ChatGPT, Gemini, Grok, Meta AI και DeepSeek, υποβάλλοντάς τους 50 ερωτήσεις σχετικές με καρκίνο, εμβόλια, βλαστοκύτταρα, διατροφή και αθλητική απόδοση.
Δύο ειδικοί αξιολόγησαν ανεξάρτητα κάθε απάντηση και κατέληξαν ότι κανένα από τα πέντε συστήματα δεν παρήγαγε με συνέπεια ακριβείς και αξιόπιστες απαντήσεις.
Συνολικά, τα πέντε chatbots είχαν παρόμοια εικόνα απόδοσης. Το Grok κατέγραψε τις περισσότερες προβληματικές απαντήσεις, με 58%, ενώ ακολούθησαν το ChatGPT με 52% και το Meta AI με 50%.
Η επίδοσή τους διαφοροποιήθηκε ανά θεματική
Καλύτερα αποτελέσματα καταγράφηκαν σε ερωτήματα για εμβόλια και καρκίνο, δηλαδή σε τομείς όπου υπάρχει εκτεταμένη και πιο συνεκτική επιστημονική βιβλιογραφία.
Ακόμη κι εκεί, όμως, οι απαντήσεις παρέμεναν προβληματικές περίπου στο ένα τέταρτο των περιπτώσεων.
Αντίθετα, οι μεγαλύτερες δυσκολίες εμφανίστηκαν στη διατροφή και την αθλητική απόδοση, πεδία όπου κυκλοφορεί αντικρουόμενη πληροφορία και τα τεκμηριωμένα δεδομένα είναι συχνά πιο περιορισμένα.
Ιδιαίτερα ανησυχητική αποδείχθηκε η επίδοση των chatbots σε ανοιχτού τύπου ερωτήσεις.
Σ’ αυτές, το 32% των απαντήσεων χαρακτηρίστηκε ιδιαίτερα προβληματικό, έναντι μόλις 7% στις κλειστές ερωτήσεις.
Το εύρημα θεωρείται κρίσιμο, καθώς οι περισσότεροι χρήστες δεν ζητούν απλές απαντήσεις τύπου «σωστό ή λάθος», αλλά διατυπώνουν γενικά και ανοιχτά ερωτήματα, όπως για παράδειγμα ποια συμπληρώματα είναι καλύτερα για τη συνολική υγεία.
Ένα ακόμη σοβαρό πρόβλημα αφορά τις παραπομπές
Όταν οι ερευνητές ζήτησαν από τα chatbots να παραθέσουν δέκα επιστημονικές αναφορές, η μέση πληρότητα των βιβλιογραφικών στοιχείων ήταν μόλις 40%.
Κανένα chatbot δεν κατάφερε να δώσει ούτε μία πλήρως ακριβή λίστα παραπομπών σε 25 δοκιμές, ενώ εντοπίστηκαν λάθη όπως λανθασμένοι συγγραφείς, ανενεργοί σύνδεσμοι και ακόμη και εντελώς επινοημένες μελέτες.
Οι επιστήμονες υπενθυμίζουν ότι τα γλωσσικά μοντέλα δεν «γνωρίζουν» πληροφορίες με την ανθρώπινη έννοια, αλλά προβλέπουν την πιο πιθανή επόμενη λέξη με βάση τα δεδομένα εκπαίδευσής τους και τα συμφραζόμενα.
Αυτό σημαίνει ότι δεν σταθμίζουν αποδείξεις ούτε ασκούν πραγματική ιατρική κρίση. Το υλικό εκπαίδευσής τους μπορεί να περιλαμβάνει τόσο επιστημονικές δημοσιεύσεις όσο και αναρτήσεις σε φόρουμ, blogs ευεξίας ή συζητήσεις στα social media.
Η μελέτη δεν βασίστηκε σε ουδέτερες ερωτήσεις
Οι ερευνητές χρησιμοποίησαν εσκεμμένα «πιεστικά» ή παραπλανητικά prompts, σε μια κλασική διαδικασία ελέγχου αντοχής που είναι γνωστή στην έρευνα ασφάλειας AI ως «red teaming».
Αυτό σημαίνει ότι τα ποσοστά σφάλματος πιθανότατα είναι υψηλότερα από όσα θα συναντούσε κανείς με πιο ουδέτερη διατύπωση.
Ωστόσο, οι ερευνητές σημειώνουν ότι οι περισσότεροι χρήστες αξιοποιούν τις δωρεάν εκδόσεις των μοντέλων και δεν διατυπώνουν πάντα προσεκτικά ή τεχνικά τις ερωτήσεις τους, άρα οι συνθήκες της μελέτης προσεγγίζουν αρκετά τη πραγματική – καθημερινή χρήση στην πράξη.
Τα ευρήματα αυτά έρχονται να προστεθούν σε ένα ευρύτερο σώμα ερευνών που δείχνει ανάλογες αδυναμίες.
Μελέτη στο Nature Medicine έδειξε ότι, ενώ τα ίδια τα chatbots μπορούσαν θεωρητικά να φτάσουν σε σωστή ιατρική απάντηση σχεδόν στο 95% των περιπτώσεων, έδωσαν σωστή απάντηση σε λιγότερο από 35% των ιατρικών «σεναρίων».
Παράλληλα, μελέτη στο JAMA Network Open που αξιολόγησε 21 μοντέλα διαπίστωσε ότι, όταν τα συστήματα λάμβαναν μόνο βασικά στοιχεία – όπως ηλικία, φύλο και συμπτώματα – αποτύγχαναν να προτείνουν το σωστό φάσμα πιθανών διαγνώσεων σε πάνω από 80% των περιπτώσεων. Όταν όμως τους δίνονταν και ευρήματα από εξέταση ή εργαστηριακές αναλύσεις, η ακρίβειά τους ξεπερνούσε το 90%.
Συνολικά, η εικόνα που διαμορφώνεται είναι πως τα chatbots μπορούν να φανούν χρήσιμα ως βοηθητικά εργαλεία για τη σύνοψη σύνθετων πληροφοριών ή για την προετοιμασία ερωτήσεων προς γιατρό, όμως δεν πρέπει να αντιμετωπίζονται ως αυτόνομες ιατρικές αυθεντίες.
Οι ειδικοί συνιστούν όποιος τα χρησιμοποιεί για θέματα υγείας να ελέγχει κάθε ισχυρισμό, να αντιμετωπίζει τις παραπομπές ως αφετηρία για επαλήθευση και όχι ως απόδειξη, και να είναι ιδιαίτερα επιφυλακτικός όταν μια απάντηση ακούγεται βέβαιη αλλά δεν περιλαμβάνει σαφείς επιφυλάξεις ή προτροπή για ιατρική συμβουλή.
ΠΗΓΗ: TVXS