Τα συμπτώματα
Η επιστημονική έρευνα διεξάγεται μέσα σε πολλά διαφορετικά περιβάλλοντα, επάνω στον πάγκο ενός εργαστηρίου ή στη σκληρή επιφάνεια ενός μαυροπίνακα, μέσα στον επεξεργαστή ενός ηλεκτρονικού υπολογιστή ή στα βάθη ενός ορυχείου. Το εργαλείο της έρευνας μπορεί να είναι ένας και μόνο ανθρώπινος εγκέφαλος - βλέπε καθαρά μαθηματικά - ή ο μεγάλος επιταχυντής αδρονίων - βλέπε φυσική στοιχειωδών σωματιδίων. Για να ανακοινώσουν, όμως, οι ερευνητές τα αποτελέσματα της έρευνάς τους και να διασφαλίσουν την «πατρότητά» τους έχουν πολύ συγκεκριμένους τρόπους, με τον πιο καθιερωμένο να είναι η δημοσίευση ενός άρθρου σε κάποιο επιστημονικό περιοδικό. Άλλωστε, οι πιο διαδεδομένοι δείκτες μέτρησης της αξίας ενός ερευνητή είναι το πλήθος των επιστημονικών άρθρων που έχει εκδώσει και οι αναφορές άλλων επιστημόνων σε αυτά.
Ως εδώ όλα καλά. Υπάρχει μία πολύ συγκεκριμένη πηγή γνώσης, επάνω στην οποία βασίζονται σημαντικοί θεσμοί με συγκεκριμένους στόχους: η επιστημονική κοινότητα για να προσανατολίσει τη μελλοντική έρευνα, η βιομηχανία για να φέρει στην αγορά ασφαλή προϊόντα, υποδομές ή υπηρεσίες, οι πολιτικοί για να πάρουν αποφάσεις που μεγιστοποιούν τις ωφέλειες και ελαχιστοποιούν τα ρίσκα για την κοινωνία. Φυσικά, υπάρχουν επιστήμονες που μπορεί να μείνουν πίσω στις εξελίξεις, ακόμα και στο πολύ στενό ερευνητικό τους πεδίο ή βιομηχανίες που δεν βασίζουν τον σχεδιασμό της παραγωγής τους αποκλειστικά και μόνο στη βελτίωση της ζωής μας ή πολιτικοί που δεν βασίζουν τις αποφάσεις τους σε αμιγώς επιστημονικά δεδομένα. Το ζήτημα όμως δεν είναι μόνο αυτό.
Ένα άλλο ζήτημα, ιδιαίτερα ανησυχητικό για τις ανθρώπινες κοινωνίες, είναι ότι το περιεχόμενο των επιστημονικών δημοσιεύσεων αποδεικνύεται ότι δεν είναι τόσο αξιόπιστο όσο όφειλε να είναι. Αυτό το ζήτημα δεν αποτελεί παραπροϊόν αρνητών της επιστήμης· αντιθέτως, αποτελεί προϊόν εφαρμογής της επιστημονικής μεθόδου στα ίδια τα αποτελέσματα της επιστημονικής έρευνας, μέσω των λεγόμενων μελετών επαναληψιμότητας (reproducibility studies). Μια τέτοια μελέτη χρησιμοποιεί τα δεδομένα μιας υπάρχουσας επιστημονικής δημοσίευσης και δοκιμάζει να καταλήξει στα ίδια συμπεράσματα, εφαρμόζοντας την ίδια μεθοδολογία. Σε άλλες περιπτώσεις, μπορεί να χρησιμοποιηθούν περισσότερα δεδομένα της ίδιας φύσης από άλλες πηγές ή ακόμα και να επαναληφθεί το ίδιο το πείραμα, οπότε μιλάμε για μελέτες αναπαραγωγής (replication studies).
Σε κάθε περίπτωση, αν μια μελέτη επαναληψιμότητας ή αναπαραγωγής καταλήξει στα ίδια συμπεράσματα με την αρχική δημοσίευση, τότε επιβεβαιώνει την αξιοπιστία της. Στην αντίθετη περίπτωση, η αρχική δημοσίευση θεωρείται αναξιόπιστη και απαιτείται η διόρθωσή της ή η απόσυρσή της από τη βιβλιογραφία.
Μερικά χαρακτηριστικά παραδείγματα είναι τα εξής: το 2012 μεγάλη εταιρεία βιοτεχνολογίας ανακοίνωσε ότι οι ερευνητές της είχαν αποτύχει να αναπαραγάγουν 47 από 53 σημαντικές δημοσιεύσεις επάνω στην έρευνα για τον καρκίνο. Το 2015 άλλη έρευνα στο πεδίο της Ψυχολογίας κατάφερε να αναπαραγάγει τα αποτελέσματα σε μόλις 39 από τις 100 δημοσιεύσεις που ελέγχθηκαν. Την ίδια χρονιά, μια μεγάλη έρευνα, στην οποία συμμετείχαν πάνω από 1500 ερευνητές στις ΗΠΑ, έφερε ακόμα πιο δυσοίωνα αποτελέσματα: περίπου 70% των ερευνητών απέτυχαν να αναπαραγάγουν δημοσιευμένα πειράματα, ενώ οι μισοί απέτυχαν κάποια στιγμή στην καριέρα τους να αναπαραγάγουν ακόμα και δικά τους πειράματα. Με βάση την ίδια έρευνα, πρωταθλήτριες στην αξιοπιστία αποδείχθηκαν οι Θετικές Επιστήμες, ενώ στους αντίποδες βρέθηκαν οι Οικονομικές Επιστήμες. Πέρα όμως από τα νούμερα, η ίδια μελέτη ανέδειξε ότι ένα συντριπτικό 80% των συμμετεχόντων θεωρούν ότι η σύγχρονη έρευνα περνάει σημαντική κρίση, στην οποία έχει δοθεί το όνομα κρίση της επαναληψιμότητας.
Ένα ακόμα πιο ανησυχητικό δεδομένο προήλθε από μία έρευνα που έγινε το 2019, σύμφωνα με την οποία αξιόπιστες και αναξιόπιστες δημοσιεύσεις έχουν την ίδια πιθανότητα να χρησιμοποιηθούν από άλλους ερευνητές ως βάση για την τρέχουσα έρευνά τους. Με άλλα λόγια, οι ρωγμές μιας αναξιόπιστης δημοσίευσης είναι πιθανό να μεταδοθούν ανεμπόδιστα σε πολλές άλλες. Ακόμα και το γεγονός ότι αυτή τη στιγμή αποσύρονται ως αναξιόπιστες 1500 δημοσιεύσεις το χρόνο - 40 φορές περισσότερες από το 2000 - δεν φαίνεται να είναι παρήγορο, διότι το πλήθος των ετήσιων δημοσιεύσεων είναι τεράστιο. Εκτιμήσεις ανεβάζουν την ετήσια παραγωγή τους στην Αγγλική γλώσσα σε περίπου δυόμισι εκατομμύρια. Το «στους ώμους γιγάντων» του Ισαάκ Νεύτωνα δεν μπορεί να ειπωθεί πια τόσο εύκολα.
Η διάγνωση
Γιατί, λοιπόν, τέτοια τύφλωση; Ποια «ελατήρια» ωθούν την επιστημονική έρευνα σε αυτοαναίρεση; Ανατρέχοντας σε μελέτες που ασχολήθηκαν με το αντικείμενο της αναξιόπιστης έρευνας και δημοσιεύτηκαν στα πρώτα χρόνια του αιώνα μας, βλέπουμε μια περίπου περιπτωσιολογική αντιμετώπιση του ζητήματος, με βάση την οποία κάποιοι ανεύθυνοι επιστήμονες, στον αγώνα τους για επαγγελματική καταξίωση, καταστρατήγησαν εκούσια ή ακούσια τις ορθές ερευνητικές πρακτικές. Η συγκεκριμένη αντιμετώπιση ονομάστηκε θεωρία των σάπιων μήλων· γρήγορα, όμως, έγινε αντιληπτό ότι περισσότερο συσκότιζε, παρά έριχνε φως στις πραγματικές αιτίες του φαινομένου.
Τα τελευταία 15 χρόνια παρατηρείται μια σαφής μετατόπιση προς μια πιο ολιστική προσέγγιση, η οποία μελετά την επίδραση του ευρύτερου επαγγελματικού περιβάλλοντος στις επιδόσεις των ερευνητών και, γενικότερα, στην πορεία της έρευνας. Πιο συγκεκριμένα, οι ερευνητές βρίσκονται υπό αφόρητη πίεση ετερόκλητων υποχρεώσεων και της απαίτησης για όλο και γρηγορότερη, όλο και μεγαλύτερη παραγωγή δημοσιεύσεων. Άλλωστε, όπως αναφέρθηκε παραπάνω, αυτό αποτελεί το σημαντικότερο κριτήριο της αξίας ενός ερευνητή, το οποίο μπορεί να κρίνει τον διορισμό του σε ένα Πανεπιστήμιο ή Ερευνητικό Κέντρο ή την ανέλιξή του στην Ακαδημαϊκή ιεραρχία. Κοντολογίς, μπορεί να καθορίσει την επιτυχή ή μη πορεία μιας καριέρας. Αυτή η πίεση δημιουργεί προβλήματα, με τα σημαντικότερα από αυτά να επικεντρώνονται στην αναποτελεσματική επίβλεψη των νέων ερευνητών και στην εφαρμογή μη ορθών ερευνητικών πρακτικών.
Ο εκκολαπτόμενος ερευνητής, εκείνος δηλαδή που ολοκληρώνει τις μεταπτυχιακές του σπουδές και ξεκινάει τη διδακτορική του διατριβή, πρέπει να μαθητεύσει πλάι σε έναν μέντορα - τον επιβλέποντά του. Δυστυχώς, τα στοιχεία δείχνουν ότι οι επιβλέποντες είναι επιφορτισμένοι με τόσα πολλά και τόσο ετερόκλητα επαγγελματικά καθήκοντα, όπως διδασκαλία, διοίκηση, συμμετοχή σε επιτροπές, εξασφάλιση χρηματοδότησης της έρευνάς τους, διοργάνωση συνεδρίων, αξιολόγηση ερευνητικών εργασιών και προτάσεων για χρηματοδότηση, που δεν τους επιτρέπεται να αφιερώσουν παρά ελάχιστο χρόνο στους υποψήφιους διδάκτορες που επιβλέπουν.
Μοιραία, το καθήκον του μέντορα μετακυλίεται είτε σε μεταδιδακτορικούς ερευνητές είτε σε νεοδιορισμένα μέλη της ακαδημαϊκής κοινότητας με μόνο κριτήριο ότι είναι μέλη της ίδιας ερευνητικής ομάδας. Σε ερευνητές, δηλαδή, που για διαφορετικούς λόγους επίσης δεν έχουν ούτε τον απαιτούμενο χρόνο ούτε όμως και την εμπειρία να γίνουν οι «πνευματικοί γονείς» του μαθητευόμενου ερευνητή. Συνεπώς, οι υποψήφιοι διδάκτορες δεν θωρακίζονται επαρκώς για να αποφύγουν μεθοδολογικά ατοπήματα στην έρευνά τους, ενώ μέσα σε ένα ή δύο χρόνια θα κληθούν με την σειρά τους να αντιμετωπίσουν την πίεση για παραγωγή δημοσιεύσεων, οι οποίες θα υποστηρίξουν το διδακτορικό τους.
Η πίεση για όλο και μεγαλύτερη παραγωγή δημοσιεύσεων έχει αποδειχθεί ότι πολύ συχνά οδηγεί σε μελέτες, στις οποίες παρατηρούνται:
Προσαρμογές της αρχικής ερευνητικής υπόθεσης στα αποτελέσματα. Αντιστροφή, με άλλα λόγια, της επιστημονικής μεθοδολογίας. Αυτή η πρακτική ονομάζεται HARKing.
Ακούσια σφάλματα στον σχεδιασμό και στην εκτέλεση των πειραμάτων, καθώς και στη διαχείριση και ερμηνεία των πειραματικών δεδομένων. Αυτή η πρακτική ονομάζεται τσαπατσούλικη επιστήμη (sloppy science).
Χρήση κατασκευασμένων ή/και παραποιημένων μετρήσεων ή φαινόμενα λογοκλοπής. Αυτή η πρακτική ονομάζεται επιστημονική απάτη (scientific fraud).
Οι παραπάνω τρεις μεγάλες κατηγορίες ολίσθησης από τις ορθές ερευνητικές πρακτικές έχουν διαφορετική βαρύτητα, μιας και παρατηρούνται με διαφορετική συχνότητα και τροφοδοτούν με διαφορετικό τρόπο την κρίση της επαναληψιμότητας.
Η πρακτική του HARKing θεωρείται ότι είναι η πιο διαδεδομένη και, ενώ δεν αποτελεί παραποίηση του πειράματος καθαυτού, έχει συμβάλει στο να καθιερωθεί να δημοσιεύεται σχεδόν αποκλειστικά έρευνα που επιβεβαιώνει την αρχική υπόθεση, δηλαδή θετική έρευνα(positive research). Είναι χαρακτηριστικό ότι, με βάση έξι μελέτες που δημοσιεύτηκαν το 2017, το 43% των ερευνητών έχουν παραδεχθεί ότι έχουν εφαρμόσει HARKing. Αυτό, με τη σειρά του, έχει προκαλέσει την επιλεκτική χρήση πειραματικών δεδομένων ή/και την εφαρμογή εσφαλμένων ή απλοϊκών στατιστικών μεθόδων, αυτό, δηλαδή, που περιγράφεται με τον όρο p-hacking.
Η πρακτική της “τσαπατσούλικης” επιστήμης θεωρείται ότι είναι η πιο επιζήμια για αξιοπιστία των επιστημονικών δημοσιεύσεων. Έχει αποδειχθεί, μάλιστα, ότι απαντάται στο 34% των ερευνών, ενώ, ταυτόχρονα, είναι πιο δύσκολο να εντοπιστεί. Επιπλέον, είναι στενά συνδεδεμένη με την πίεση που δέχεται ο ερευνητής για παραγωγή όλο και περισσότερων δημοσιεύσεων, με ελλείψεις στα συστήματα ελέγχου ποιότητας των εργαστηρίων, αλλά και με την εφαρμογή πειραματικών διαδικασιών, που δεν είναι ευρέως αποδεκτές.
Τέλος, η πρακτική της επιστημονικής απάτης θεωρείται η πιο σοβαρή, από πλευράς ευθύνης του ερευνητή, αλλά απαντάται λιγότερο συχνά· πιο συγκεκριμένα, στο 2% των ερευνών. Διαθέτει το «σκοτεινό» προνόμιο να είναι πολύ ελκυστική στα μέσα μαζικής ενημέρωσης και, συνεπακόλουθα, να προκαλεί τις μεγαλύτερες «πληγές» στην εμπιστοσύνη που δείχνουν οι κοινωνίες στην επιστημονική έρευνα. Ωστόσο, συγκεκριμένες περιπτώσεις επιστημονικής απάτης, όπως εκείνη του κοινωνικού ψυχολόγου Diederik Stapel στην Ολλανδία, τελικά βοήθησαν, ώστε να αναδειχθεί η σοβαρότητα του ζητήματος και να ληφθούν αντίμετρα που υπερέβαιναν την απλή καταδίκη του παραπτωματία.
Η γιατρειά
Από τα παραπάνω, γίνεται φανερό ότι θα πρέπει να πριμοδοτηθεί η ποιότητα και όχι η ποσότητα της έρευνας. Κάτι τέτοιο μπορεί να συμβεί μόνο εφόσον τα κριτήρια αξιολόγησης ενός ερευνητή πάψουν να είναι αμιγώς ποσοτικά και γίνουν ποιοτικά. Κάτι τέτοιο αναμένεται να απελευθερώσει λίγο χρόνο από το εξαιρετικά βεβαρημένο πρόγραμμα των επιβλεπόντων.
Ήδη έχουν γίνει σημαντικά βήματα. Για παράδειγμα, υπάρχουν περιπτώσεις, κατά τις οποίες ο υποψήφιος για χρηματοδότηση ή διορισμό ερευνητής υποχρεούται να καταθέσει όχι όλες τις δημοσιεύσεις του, αλλά μόνο τις δέκα σημαντικότερες, με κριτήρια το κύρος των περιοδικών, στα οποία έχουν εκδοθεί και την απήχηση που είχαν στην ερευνητική κοινότητα. Επίσης, στις διαδικασίες προαγωγής ακαδημαϊκών ερευνητών αρχίζουν να προστίθενται κριτήρια, όπως η ποιότητα της επίβλεψης σε υποψήφιους διδάκτορες.
Εξίσου σημαντικό είναι το γεγονός ότι έχουν γίνει βήματα, ώστε η αξία μιας έρευνας να μη συνδέεται αποκλειστικά με το αν έχει καταλήξει σε θετικά αποτελέσματα. Πρώτον, τα επιστημονικά περιοδικά δείχνουν μια τάση να αποδέχονται εργασίες που έχουν καταλήξει σε αρνητικά αποτελέσματα. Δεύτερον, έχει αρχίσει να εφαρμόζεται η διαδικασία της λεγόμενης προ-εγγραφής (pre-registered report) μιας έρευνας: στο περιοδικό υποβάλλεται η λεπτομερής μεθοδολογία που θα ακολουθηθεί από την αρχική υπόθεση και τη διαδικασία συλλογής δεδομένων μέχρι τις μεθόδους στατιστικής ανάλυσης και ερμηνείας τους. Εφόσον το περιοδικό αποδεχθεί την προ-εγγραφή της έρευνας ως επιστημονικά ορθή, τότε είναι υποχρεωμένο να δημοσιεύσει τα αποτελέσματα που θα προκύψουν είτε αυτά είναι θετικά είτε αρνητικά. Ο μόνος λόγος απόρριψης μιας εργασίας είναι εάν αυτή δεν εφάρμοσε κατά γράμμα την προ-εγγεγραμμένη μεθοδολογία. Με άλλα λόγια, ως απόλυτη βάσανος της αξίας μιας έρευνας αναδεικνύεται η ορθότητα της μεθοδολογίας της και όχι η επιτυχία επιβεβαίωσης της αρχικής ερευνητικής υπόθεσης.
Εν κατακλείδι
Ο σύγχρονος ερευνητής, όπως όλοι οι εργαζόμενοι, είναι εκτεθειμένος σε κοινωνικές και οικονομικές πιέσεις που του δημιουργούν επισφάλεια. Το γεγονός ότι ο ερευνητής εκτελεί μια ιδιαίτερης φύσης εργασία, δεν τον θέτει εκτός αυτών των περιορισμών και των στρεβλώσεων, ειδικά στις μέρες μας, που οι μόνιμες θέσεις εργασίας στην έρευνα καλύπτουν ολοένα μικρότερο ποσοστό του ερευνητικού δυναμικού σε διεθνές επίπεδο.
Οι συνθήκες, μέσα στις οποίες εργάζονται οι ερευνητές, φαίνεται ότι δύσκολα θα αλλάξουν με πρωτοβουλίες που στοχεύουν αποκλειστικά στην ερευνητική κοινότητα και τις οποίες θα περιγράψουμε σε επόμενο άρθρο. Ακριβώς, όμως, για αυτόν τον λόγο, τέτοιες προσπάθειες αξίζει να υποστηριχτούν πρωτίστως από τους ίδιους τους ερευνητές, μιας και η όποια βελτίωση του ερευνητικού κλίματος συνοδεύεται αυτονόητα από την προοπτική της παραγωγής πιο αξιόπιστης έρευνας. Άλλωστε, ακόμα και το πιο μακρινό ταξίδι ξεκινάει με ένα πρώτο βήμα.
* Ο Π. Κάβουρας, Δρ. Φυσικός, είναι ερευνητής στο Εργαστήριο Προηγμένων, Σύνθετων, Νανοϋλικών & Νανοτεχνολογίας (RNanoLab) της Σχολής Χημικών Μηχανικών του Εθνικού Μετσόβιου Πολυτεχνείου.
