Αν ανησυχείτε για την ανθρωπότητα, θα πρέπει να φοβάστε περισσότερο τους ανθρώπους παρά την Τεχνητή Νοημοσύνη.

Αν ανησυχείτε για την ανθρωπότητα, θα πρέπει να φοβάστε περισσότερο τους ανθρώπους παρά την Τεχνητή Νοημοσύνη.

  • |

Το ερώτημα αν η τεχνητή νοημοσύνη (AI) αποτελεί υπαρξιακό κίνδυνο έχει λάβει αυξημένη προσοχή τελευταία, με πολλούς να κρούουν τον κώδωνα του κινδύνου για την επικείμενη απειλή της AI. Για παράδειγμα, το Future of Life Institute δημοσίευσε πρόσφατα μια ανοιχτή επιστολή που ζητά παύση της έρευνας και της ανάπτυξης της τεχνητής νοημοσύνης, ενώ το Center for AI Safety δημοσίευσε μια ανοιχτή δήλωση στην οποία συγκρίνει την απειλή που συνιστά η τεχνητή νοημοσύνη με εκείνη των πυρηνικών βομβών και προτείνει δραστικά μέτρα για τη χαλιναγώγηση της τεχνολογίας. Οι επιστολές αυτές έτυχαν ευρείας δημόσιας προσοχής, εν μέρει επειδή στους υπογράφοντες τους περιλαμβάνονται αξιοσημείωτοι υποστηρικτές της τεχνολογίας και ηγέτες διακεκριμένων εταιρειών που βασίζονται στην τεχνητή νοημοσύνη.

Από τους Moran Cerf, Adam Waytz, 11 Σεπτεμβρίου 2023. Αναδημοσίευση από Bulletine of the Atomic Scientists

Ένας κυνικός θα μπορούσε να υποθέσει ότι αυτές οι δημόσιες προειδοποιήσεις χρησιμεύουν ως καλές δημόσιες σχέσεις για την τεχνολογία, εφιστώντας την προσοχή στους πιθανούς κινδύνους, ενώ παράλληλα υποδηλώνουν πόσο αξιόλογη και χρήσιμη είναι (“Κατασκευάσαμε μια τεχνολογία τόσο ισχυρή που ανησυχούμε ακόμη και ότι μπορεί να είναι πολύ καλή και να απαιτεί διασφαλίσεις!”) και βοηθώντας τους δημιουργούς να διαμορφώσουν κυβερνητικές ρυθμίσεις σχετικά με τις μελλοντικές χρήσεις.

Εδώ προσφέρουμε μια λιγότερο κυνική αλλά και πάλι αξιοσημείωτη ανησυχία, η οποία είναι ότι αυτές οι υπερβολικές προειδοποιήσεις για τις υπαρξιακές απειλές της τεχνολογίας χρησιμεύουν ως αντιπερισπασμός. Παρόλο που οι φόβοι που εκφράζονται γύρω από την ικανότητα της Τεχνητής Νοημοσύνης να διαδίδει παραπληροφόρηση, να ενισχύει την ανεργία και να ξεπερνά την ανθρώπινη νοημοσύνη είναι βάσιμοι (και υποστηρίζουμε σθεναρά ότι πρέπει να ληφθούν σοβαρά υπόψη αυτοί οι κίνδυνοι), ανησυχούμε ότι αυτές οι δημόσιες επιστολές αποσπούν την προσοχή από την τρέχουσα ικανότητα των ανθρώπων να φέρουν εις πέρας τις απειλές που αποδίδονται στην τεχνολογία. Στην πραγματικότητα, οι άνθρωποι είναι ο σαφής και παρών κίνδυνος που υπογραμμίζεται από τις εξελίξεις της τεχνητής νοημοσύνης.

Αντιλαμβανόμαστε ότι η άποψη αυτή απαιτεί σαφήνεια. Ο τυπικός λόγος ζητά από τους ανθρώπους να πάρουν μια απλή δυαδική θέση. (“Είστε με την πλευρά της μεγαλύτερης ρύθμισης της τεχνητής νοημοσύνης ή με την πλευρά που λέει ότι απέχει πολύ από το να αποτελεί πραγματική απειλή;”) Εμείς υποστηρίζουμε ότι η Τεχνητή Νοημοσύνη μπορεί να γίνει ένας σύγχρονος άμεσος κίνδυνος, αλλά ότι σε αυτό το σημείο είναι στην πραγματικότητα το καλύτερο εργαλείο για τον μετριασμό μιας πολύ μεγαλύτερης απειλής για την ανθρωπότητα: της ανθρώπινης λήψης αποφάσεων. Επί του παρόντος, για την προστασία του κόσμου από απειλές μεγάλης κλίμακας (κλιματική αλλαγή, πανδημίες, πυρηνικός πόλεμος κ.λπ.), πιστεύουμε ότι η καλύτερη προσέγγιση περιλαμβάνει τη συνεργασία των ανθρώπων με την ΤΝ για τη βελτίωση της λήψης αποφάσεων σε τομείς τόσο κρίσιμους όσο αυτοί που αφορούν τη ζωή και τον θάνατο.

Για παράδειγμα, πάρτε τη διάδοση της παραπληροφόρησης, την οποία υπογραμμίζει η επιστολή του Ινστιτούτου Μέλλοντος της Ζωής, θέτοντας το ερώτημα: “Πρέπει να αφήσουμε τις μηχανές να κατακλύσουν τα κανάλια πληροφόρησής μας με προπαγάνδα και αναλήθειες;”. Αναμφίβολα, η εξάπλωση της παραπληροφόρησης από συστήματα που διαδίδονται από την τεχνητή νοημοσύνη είναι ανησυχητική, ιδίως δεδομένης της απαράμιλλης κλίμακας περιεχομένου που μπορεί να παράγει η τεχνητή νοημοσύνη. Όμως, όπως αποκαλύπτει πρόσφατη έρευνα, οι άνθρωποι είναι πολύ περισσότερο υπεύθυνοι για τη διάδοση της παραπληροφόρησης από ό,τι η τεχνολογία. Σε μια μελέτη σχετικά με τον τρόπο διάδοσης αληθινών και ψευδών ειδήσεων στο Twitter, οι ερευνητές ανέλυσαν 126.000 ιστορίες που αναρτήθηκαν στο Twitter από εκατομμύρια ανθρώπους μεταξύ 2006 και 2017 και διαπίστωσαν ότι οι ψευδείς ειδήσεις διαδίδονται ταχύτερα από τις αληθινές ειδήσεις και ότι “οι ψευδείς ειδήσεις διαδίδονται περισσότερο από την αλήθεια επειδή οι άνθρωποι, όχι τα ρομπότ, είναι πιο πιθανό να τις διαδώσουν” (Vosoughi, Roy, and Aral 2018). Στην πραγματικότητα, ορισμένοι αξιοσημείωτοι υπογράφοντες την επιστολή έχουν οι ίδιοι συμβάλει στη διάδοση ψευδών θεωριών συνωμοσίας και παραπλανητικών πληροφοριών.

Μια απειλή ακόμη πιο τρομερή από την παραπληροφόρηση είναι ο “κίνδυνος εξαφάνισης από την ΤΝ”, τον οποίο επισημαίνει το Κέντρο για την Ασφάλεια της ΤΝ στην ανοικτή δήλωσή του. Ωστόσο, όσον αφορά το αν οι μηχανές ή οι άνθρωποι είναι πιο πιθανό να προκαλέσουν γεγονότα επιπέδου εξαφάνισης, όπως ο πυρηνικός πόλεμος, οι άνθρωποι φαίνεται ότι εξακολουθούν να έχουν το πάνω χέρι. Σε πρόσφατη εμπειρική εργασία που αναλύει τις διαδικασίες λήψης αποφάσεων που χρησιμοποιούνται από ανώτερους ηγέτες σε σενάρια πολεμικών παιχνιδιών που περιλαμβάνουν όπλα μαζικής καταστροφής, οι άνθρωποι έδειξαν ανησυχητική τάση να σφάλλουν προς την πλευρά της έναρξης καταστροφικών επιθέσεων. Αυτές οι προσομοιώσεις, αν υλοποιούνταν στην πραγματικότητα, θα δημιουργούσαν πολύ σοβαρότερους κινδύνους για την ανθρωπότητα από ό,τι οι μηχανοκίνητες. Η διερεύνηση της χρήσης της ΤΝ σε κρίσιμες αποφάσεις έδειξε την υπεροχή της ΤΝ έναντι των ανθρώπινων αποφάσεων σε όλα σχεδόν τα σενάρια. Στις περισσότερες περιπτώσεις, η τεχνητή νοημοσύνη κάνει την επιλογή που οι άνθρωποι δεν κάνουν στην αρχή -αλλά στη συνέχεια, μετά από πιο προσεκτική εξέταση και σκέψη, αλλάζουν γνώμη και επιλέγουν, συνειδητοποιώντας ότι ήταν η σωστή απόφαση εξ αρχής.

Περιπτώσεις όπου η νοημοσύνη των μηχανών είναι καλύτερη από τους ανθρώπους
Ως μια απογοητευτική υπενθύμιση της σύγκρισης κινδύνου ανθρώπου-μηχανής, επισημαίνουμε διάφορους τομείς στους οποίους η τρέχουσα μηχανική νοημοσύνη φαίνεται ήδη να αμφισβητεί τις επιδόσεις των ανθρώπων: Όσον αφορά την ασφάλεια της κυκλοφορίας, ενώ δίνεται μεγάλη προσοχή σε κάθε ατύχημα που διαιωνίζεται από τα αυτόνομα αυτοκίνητα, η πραγματικότητα είναι ότι οι εκθέσεις της Εθνικής Διοίκησης Ασφάλειας Οδικής Κυκλοφορίας και της Διοίκησης Γενικών Υπηρεσιών δείχνουν ότι από τα πάνω από έξι εκατομμύρια ατυχήματα ετησίως (με 42.939 θανατηφόρα περιστατικά), το 98% οφείλεται σε ανθρώπινο λάθος, ενώ τα αυτοκινούμενα αυτοκίνητα εκτιμάται ότι θα μειώσουν αυτό το ποσοστό κατά 76%.

Παρομοίως, στον τομέα της ιατρικής διάγνωσης, μια μετα-ανάλυση άρθρων που δημοσιεύτηκαν σε 20 χρόνια έρευνας δείχνει ότι σε διάφορους τομείς (π.χ. όγκοι στον εγκέφαλο) οι επιδόσεις των μηχανών γίνονται όλο και πιο ανώτερες από αυτές των ανθρώπινων γιατρών.

Πρόσφατα, η τεχνητή νοημοσύνη κέρδισε διαγωνισμούς για τη δημιουργικότητα στην τέχνη και τη διαφήμιση, ξεπερνώντας τις ανθρώπινες επιδόσεις στην αυθεντικοποίηση έργων τέχνης και, σε νομικά πλαίσια, διορθώνοντας λανθασμένες καταδίκες που έγιναν από ανθρώπους (που προέκυψαν από λανθασμένη αναγνώριση) και μειώνοντας τους χρόνους δίκης κατά πάνω από 20 τοις εκατό.

Τέλος, είναι αξιοσημείωτο ότι η τρέχουσα έρευνα του αντίστοιχου συγγραφέα διερευνά τη δυνατότητα χρήσης του “ψηφιακού διδύμου” -ενός αιτιολογημένου και συντεταγμένου εργαλείου λήψης αποφάσεων με βάση μηχανές που αναπαράγει τη σκέψη του βασικού ενδιαφερόμενου υπό ελάχιστα προκατειλημμένες συνθήκες- για να βοηθήσει τους ηγέτες σε επιλογές που σχετίζονται με κρίσιμες αποφάσεις (συγκεκριμένα, κρίσιμες αποφάσεις σχετικά με την πυρηνική ενέργεια και το κλίμα).

Άλλες, πιο καθημερινές ανησυχίες που διατυπώνονται σχετικά με την Τεχνητή Νοημοσύνη αφορούν πολύ περισσότερο τους ανθρώπους παρά τις μηχανές. Σκεφτείτε την αλγοριθμική μεροληψία, το φαινόμενο κατά το οποίο οι αλγόριθμοι που εμπλέκονται σε αποφάσεις πρόσληψης, ιατρικές διαγνώσεις ή ανίχνευση εικόνων παράγουν αποτελέσματα που αδικούν μια συγκεκριμένη κοινωνική ομάδα. Για παράδειγμα, όταν η Amazon εφάρμοσε ένα αλγοριθμικό εργαλείο προσλήψεων για τη βαθμολόγηση των βιογραφικών των νέων υποψηφίων, ο αλγόριθμος βαθμολόγησε συστηματικά τις γυναίκες υποψήφιες χειρότερα από τους άνδρες, σε μεγάλο βαθμό επειδή ο αλγόριθμος εκπαιδεύτηκε σε βιογραφικά που υποβλήθηκαν τα προηγούμενα 10 χρόνια και ήταν δυσανάλογα ανδρικά. Με άλλα λόγια, ένας αλγόριθμος που εκπαιδεύεται στην ανθρώπινη προκατάληψη θα αναπαράγει αυτή την προκατάληψη.

Ωστόσο, σε αντίθεση με τους ανθρώπους, η αλγοριθμική προκατάληψη μπορεί εύκολα να αποπρογραμματιστεί, ή όπως το θέτει ο οικονομολόγος Sendhil Mullainathan: “Οι προκατειλημμένοι αλγόριθμοι διορθώνονται ευκολότερα από τους προκατειλημμένους ανθρώπους”. Η έρευνα του Mullainathan και των συνεργατών του έδειξε ότι ένας αλγόριθμος που χρησιμοποιήθηκε από την UnitedHealth για τη βαθμολόγηση των κινδύνων υγείας των ασθενών υπογράμμισε συστηματικά τους μαύρους ασθενείς σε σχέση με τους λευκούς ασθενείς, επειδή μετρούσε την ασθένεια με όρους κόστους υγειονομικής περίθαλψης (το οποίο είναι συστηματικά χαμηλότερο για τα μαύρα έναντι των λευκών ατόμων, δεδομένου ότι η κοινωνία δαπανά λιγότερα για τους μαύρους ασθενείς) (Obermeyer et al. 2019).

Ωστόσο, μόλις εντοπίστηκε, οι ερευνητές μπορούσαν εύκολα να τροποποιήσουν αυτό το χαρακτηριστικό του αλγορίθμου για να παράγουν βαθμολογίες κινδύνου που ήταν σχετικά αμερόληπτες. Άλλες εργασίες έχουν δείξει ότι οι αλγόριθμοι μπορούν να παράγουν λιγότερο ρατσιστικά προκατειλημμένα αποτελέσματα (και πιο ικανοποιητικά αποτελέσματα για τη δημόσια ασφάλεια) από ό,τι οι ανθρώπινοι δικαστές όσον αφορά τις αποφάσεις σχετικά με τη χορήγηση ή μη εγγύησης σε κατηγορούμενους που περιμένουν δίκη (Kleinberg et al. 2018). Όσο προκατειλημμένοι και αν είναι οι αλγόριθμοι, οι προκαταλήψεις τους φαίνεται να είναι λιγότερο βαθιά ριζωμένες και πιο εύκαμπτες από εκείνες των ανθρώπων. Σε συνδυασμό με την πρόσφατη εργασία που δείχνει ότι, σε περιβάλλοντα προσλήψεων και δανεισμού, οι διευθυντές απορρίπτουν προκατειλημμένους αλγορίθμους υπέρ πιο προκατειλημμένων ανθρώπων, η πρόταση ότι οι άνθρωποι πρέπει να παραμείνουν στο τιμόνι αυτών των λειτουργιών είναι, στην καλύτερη περίπτωση, αμφισβητήσιμη (Cowgill, Dell’Acqua, and Matz 2020).

Τέλος, εξετάστε την απειλή για την ασφάλεια στον κυβερνοχώρο. Παρόλο που οι σχολιαστές έχουν προειδοποιήσει ότι τα μεγάλα γλωσσικά μοντέλα προσέθεσαν εργαλεία στο οπλοστάσιο των χάκερς εκδημοκρατίζοντας το έγκλημα στον κυβερνοχώρο, οι περισσότερες διαρροές πληροφοριών υψηλού προφίλ και παραβιάσεις μέχρι σήμερα έχουν προηγηθεί από ανθρώπους χωρίς καμία εξάρτηση από την τεχνητή νοημοσύνη (δηλ, ένας δυσαρεστημένος υπάλληλος που γνωρίζει τα ελαττώματα των συστημάτων και διαπράττει μια επίθεση θυμόμενος βασικούς κωδικούς πρόσβασης, ή κακοί προγραμματιστές που ουσιαστικά επιτρέπουν μελλοντικές επιθέσεις κάνοντας λανθασμένες υποθέσεις σχετικά με τις περιπτώσεις χρήσης του λογισμικού τους -όπως “κανείς δεν θα δημιουργούσε έναν κωδικό πρόσβασης με μήκος 1.000.000 χαρακτήρων” που οδηγεί σε μια κλασική παραβίαση buffer overflow). Στην πραγματικότητα, η τεχνητή νοημοσύνη αποτελεί συχνά το τελευταίο προπύργιο άμυνας ενάντια σε αυτές τις παραβιάσεις, εντοπίζοντας έγκαιρα τα πολύπλοκα ανθρώπινα λάθη κωδικοποίησης και διορθώνοντας τα.

Πρόσφατα, ο εθνοφρουρός Jack Teixeira, ο οποίος αποκάλυψε άκρως απόρρητο υλικό σε μια διαδικτυακή ομάδα συνομιλίας, δεν χρειάστηκε εξελιγμένη τεχνολογία για να αποκτήσει πρόσβαση σε ευαίσθητα έγγραφα – του χορηγήθηκε άκρως απόρρητη εξουσιοδότηση από το Πεντάγωνο. Επιπλέον, μια πρόσφατη μελέτη που διεξήχθη από την IBM δείχνει ότι το 95 % των παραβιάσεων ασφαλείας προκλήθηκαν από ανθρώπινα λάθη, όπως η διολίσθηση σε απάτες phishing ή η λήψη κακόβουλου λογισμικού. Αν μη τι άλλο, ο πιο ανησυχητικός κίνδυνος κυβερνοασφάλειας που ενέχει σήμερα η τεχνητή νοημοσύνη προκύπτει από την αυξημένη εξάρτησή της από τον ανθρώπινο εκπαιδευμένο κώδικα, ο οποίος είναι ελαττωματικός. Η AI παίρνει ανθρώπινους κώδικες που μπορούν να παραβιαστούν και τους χρησιμοποιεί για τη δημιουργία νέων κωδικών, διαδίδοντας περαιτέρω αυτά τα λάθη που δημιουργούνται από τον άνθρωπο. Οι μόνες ανησυχητικές σημερινές επιθέσεις κυβερνοασφάλειας από την ΤΝ αφορούν την ΤΝ που προσομοιώνει την ανθρώπινη επικοινωνία για να εξαπατήσει τους ανθρώπους ώστε να αποκαλύψουν βασικές πληροφορίες. Η ασφάλεια στον κυβερνοχώρο μπορεί να αποτελεί μια περίπτωση στην οποία η τεχνολογία είναι πιο πιθανό να αποτελέσει τη λύση παρά το πρόβλημα, με την έρευνα να δείχνει, για παράδειγμα, ότι οι άνθρωποι που συνεργάζονται με την ΤΝ υπερτερούν των ανθρώπων μόνοι τους στον εντοπισμό μέσων που χειραγωγούνται από μηχανές, όπως τα deepfakes (Groh et al. 2021).

Ακόμη και όταν η τεχνολογία συμβάλλει σε ανεπιθύμητα αποτελέσματα, οι άνθρωποι είναι συχνά αυτοί που πατούν τα κουμπιά. Σκεφτείτε την επίδραση της τεχνητής νοημοσύνης στην ανεργία. Η επιστολή του Future of Life Institute εκφράζει ανησυχίες ότι η Τεχνητή Νοημοσύνη θα εξαλείψει τις θέσεις εργασίας, ωστόσο το αν θα εξαλειφθούν ή όχι οι θέσεις εργασίας είναι μια επιλογή που τελικά κάνουν οι άνθρωποι. Το γεγονός ότι η τεχνητή νοημοσύνη μπορεί να εκτελέσει τις εργασίες, ας πούμε, των αντιπροσώπων εξυπηρέτησης πελατών δεν σημαίνει ότι οι εταιρείες θα πρέπει να αναθέσουν αυτές τις εργασίες σε ρομπότ. Στην πραγματικότητα, η έρευνα δείχνει ότι πολλοί πελάτες θα προτιμούσαν να μιλήσουν με έναν άνθρωπο παρά με ένα ρομπότ, ακόμη και αν αυτό σημαίνει ότι πρέπει να περιμένουν σε μια ουρά. Σε παρόμοιες γραμμές, οι ολοένα και πιο συχνές δηλώσεις ότι τα συστήματα που βασίζονται στην ΤΝ -όπως το “Διαδίκτυο”, τα “μέσα κοινωνικής δικτύωσης” ή το σύνολο των διασυνδεδεμένων διαδικτυακών λειτουργιών που αναφέρονται ως “ο αλγόριθμος”- καταστρέφουν την ψυχική υγεία, προκαλούν πολιτική πόλωση ή απειλούν τη δημοκρατία παραμελούν ένα προφανές γεγονός: Αυτά τα συστήματα κατοικούνται και διοικούνται από ανθρώπους. Η επίρριψη ευθυνών στην τεχνολογία απαλλάσσει τους ανθρώπους από την ευθύνη.

Παρόλο που οι εκφράσεις ανησυχίας για την τεχνητή νοημοσύνη είναι ανεκτίμητες για την αντιστοίχιση του ενθουσιασμού γύρω από τη νέα τεχνολογία με την προσοχή, οι υπερβολικοί κύκλοι ειδήσεων γύρω από τις απειλές της τεχνολογίας μπορούν να αποσπάσουν την προσοχή από τις απειλές των ανθρώπων. Πρόσφατες έρευνες δείχνουν ότι οι άνθρωποι έχουν μια “πεπερασμένη δεξαμενή προσοχής”, έτσι ώστε “όταν δίνουμε περισσότερη προσοχή σε μια απειλή, η προσοχή μας σε άλλες απειλές μειώνεται” (Sisco MR et al. 2023). Έτσι, καθώς παλεύουμε με την άνοδο της τεχνητής νοημοσύνης και τις συνακόλουθες βλάβες της στην ιδιωτική ζωή, την ανθρώπινη επιβίωση και τη σχέση μας με την ίδια την αλήθεια, πρέπει να δώσουμε εξίσου προσοχή στους ανθρώπους που είναι ήδη καλά εξοπλισμένοι για να διαπράξουν αυτές τις βλάβες χωρίς τη βοήθεια των μηχανών. Συγκεκριμένα, δεν έχει διαφύγει της προσοχής μας ότι, όταν συμμετέχουμε σε μια συζήτηση σχετικά με τους κινδύνους της τεχνητής νοημοσύνης, το κριτήριο αναφοράς είναι συχνά “είναι η τεχνητή νοημοσύνη τέλεια για να χειριστεί αυτό το έργο” (λήψη κρίσιμων αποφάσεων ή καθοδήγηση ενός αυτοκινούμενου αυτοκινήτου) και όχι “είναι καλύτερη από τους ανθρώπους”. Η απάντηση στο τελευταίο ερώτημα σε πολλές περιπτώσεις είναι ότι ναι, η ΤΝ μπορεί να μετριάσει τους κινδύνους για την ανθρωπότητα.

Βιβλιογραφία
Cowgill B., Dell’Acqua, F., και Matz. S. 2020. “The Managerial Effects of Algorithmic Fairness Activism”. AEA Papers and Proceedings. 110: 85-90. https://doi.org/10.1257/pandp.20201035

Groh, M. et al. 2021. “Deepfake detection by human crowds, machines, and machine-informed crowds”. PNAS. December 28. https://doi.org/10.1073/pnas.2110013119.

Kleinberg. J. et al. 2018. “Ανθρώπινες αποφάσεις και προβλέψεις μηχανών”. The Quarterly Journal of Economics. Τόμος 133, Τεύχος 1. Φεβρουάριος. 237–293. https://doi.org/10.1093/qje/qjx032

Obermeyer et al. 2019. “Dissecting racial bias in an algorithm used to manage the health of populations.” Science. 25 Οκτωβρίου. 366, 447-453. https://www.science.org/doi/pdf/10.1126/science.aax2342.

Sisco MR et al. 2023. “Εξέταση των αποδείξεων για τις υποθέσεις Finite Pool of Worry και Finite Pool of Attention”. Global Environmental Change, τόμος 78, Ιανουάριος. https://www.sciencedirect.com/science/article/abs/pii/S0959378022001601?via%3Dihub

Vosoughi, S., Roy, D., and Aral, S. 2018. “Η εξάπλωση αληθινών και ψευδών ειδήσεων στο διαδίκτυο”. Science. Μάρτιος 9. 359, 1146-1151. https://www.science.org/doi/10.1126/science.aap9559

redlines.gr

Εκτρωφείο Λαγων Καρφής Ευαγγελος