Κατά τη διάρκεια μιας πρόσφατης εμφάνισης του Τύπου, ο Διευθύνων Σύμβουλος της OpenAI, Sam Altman, δήλωσε ότι έχει παρατηρήσει ότι το “IQ” του AI βελτιώνεται γρήγορα τα τελευταία χρόνια.
“Πολύ περίπου, μου αρέσει – αυτό δεν είναι επιστημονικά ακριβές, αυτό είναι απλώς μια ατμόσφαιρα ή πνευματική απάντηση – κάθε χρόνο μετακινούμε μια τυπική απόκλιση του IQ”, δήλωσε ο Altman.
Ο Altman δεν είναι ο πρώτος που χρησιμοποιεί το IQ, μια εκτίμηση της νοημοσύνης ενός ατόμου, ως σημείο αναφοράς για την πρόοδο του AI. Οι επιρροές AI στα κοινωνικά μέσα ενημέρωσης έδωσαν μοντέλα IQ δοκιμές και ταξινομούν τα αποτελέσματα.
Αλλά πολλοί ειδικοί λένε ότι το IQ είναι ένα φτωχό μέτρο των δυνατοτήτων ενός μοντέλου – και ένα παραπλανητικό.
“Μπορεί να είναι πολύ δελεαστικό να χρησιμοποιούμε τα ίδια μέτρα που χρησιμοποιούμε για τον άνθρωπο για να περιγράψουμε τις δυνατότητες ή την πρόοδο, αλλά αυτό είναι σαν να συγκρίνουμε τα μήλα με τα πορτοκάλια”, δήλωσε η Sandra Wachter, ερευνητής που μελετά την τεχνολογία και τη ρύθμιση στην Οξφόρδη.
Στα σχόλιά του στο The Presser, ο Altman εξισώνει το IQ με νοημοσύνη. Ωστόσο, οι δοκιμές IQ είναι σχετικές – όχι αντικειμενικές – μέτρα του βέβαιος Είδη νοημοσύνης. Υπάρχει κάποια συναίνεση ότι το IQ είναι μια λογική δοκιμασία λογικής και αφηρημένης συλλογιστικής. Αλλά δεν μετρά πρακτικός Intelligence – Γνωρίζοντας πώς να κάνει τα πράγματα να λειτουργούν – και είναι στην καλύτερη περίπτωση ένα στιγμιότυπο.
“Το IQ είναι ένα εργαλείο για τη μέτρηση των ανθρώπινων δυνατοτήτων – μια αμφισβητούμενη όχι λιγότερο – με βάση αυτό που οι επιστήμονες πιστεύουν ότι η ανθρώπινη νοημοσύνη μοιάζει”, σημείωσε ο Wachter. “Αλλά δεν μπορείτε να χρησιμοποιήσετε το ίδιο μέτρο για να περιγράψετε τις δυνατότητες AI. Ένα αυτοκίνητο είναι ταχύτερο από τους ανθρώπους και ένα υποβρύχιο είναι καλύτερο στην κατάδυση. Αλλά αυτό δεν σημαίνει ότι τα αυτοκίνητα ή τα υποβρύχια ξεπερνούν την ανθρώπινη νοημοσύνη. Είστε αμφιβολία για μια πτυχή της απόδοσης με την ανθρώπινη νοημοσύνη, η οποία είναι πολύ πιο περίπλοκη. “
Για να υπερέχετε σε μια δοκιμή IQ, η προέλευση των οποίων ορισμένοι ιστορικοί εντοπίζουν πίσω στην ευγονική, την ευρέως ανασταλμένη επιστημονική θεωρία ότι οι άνθρωποι μπορούν να βελτιωθούν μέσω της επιλεκτικής αναπαραγωγής, ένας δοκιμαστής πρέπει να έχει μια ισχυρή μνήμη εργασίας και γνώση των πολιτιστικών κανόνων. Αυτό προσκαλεί την ευκαιρία για προκατάληψη, φυσικά, γι ‘αυτό ένας ψυχολόγος έχει ονομάσει δοκιμές IQ “ιδεολογικά κατεστραμμένα μηχανικά μοντέλα” της νοημοσύνης.
Ότι ένα μοντέλο μπορεί να κάνει καλά σε μια δοκιμή IQ δείχνει περισσότερα για τα ελαττώματα της δοκιμής από την απόδοση του μοντέλου, σύμφωνα με το OS Keyes, υποψήφιο διδακτορικό στο Πανεπιστήμιο της Ουάσινγκτον που μελετά το ηθικό AI.
“(Αυτές) Οι δοκιμές είναι αρκετά εύκολο να παίξουν αν έχετε πρακτικά άπειρη μνήμη και υπομονή”, δήλωσε ο Keyes. “Οι δοκιμές IQ είναι ένας πολύ περιορισμένος τρόπος μέτρησης της γνώσης, της ευαισθησίας και της νοημοσύνης, κάτι που γνωρίζουμε πριν από την εφεύρεση του ίδιου του ψηφιακού υπολογιστή”.
Το AI πιθανότατα έχει ένα αθέμιτο πλεονέκτημα στις δοκιμές IQ, επίσης, λαμβάνοντας υπόψη ότι τα μοντέλα έχουν τεράστιες ποσότητες μνήμης και εσωτερικοποιημένες γνώσεις στη διάθεσή τους. Συχνά, τα μοντέλα εκπαιδεύονται σε δημόσια δεδομένα ιστού και ο ιστός είναι γεμάτος από παραδείγματα ερωτήσεων που λαμβάνονται από τις δοκιμές IQ.
“Οι δοκιμές τείνουν να επαναλαμβάνουν πολύ παρόμοια πρότυπα – ένας αρκετά ανόητος τρόπος για να αυξήσετε το IQ σας είναι να ασκήσετε δοκιμές IQ, κάτι που είναι ουσιαστικά αυτό που έχει κάνει κάθε μοντέλο”, δήλωσε ο Mike Cook, ερευνητής στο King’s College London που ειδικεύεται στο AI . «Όταν μαθαίνω κάτι, δεν το παίρνω στο μυαλό μου με τέλεια σαφήνεια 1 εκατομμύριο φορές, σε αντίθεση με το AI, και δεν μπορώ να το επεξεργαστώ χωρίς απώλεια θορύβου ή σήματος».
Τελικά, οι δοκιμές IQ-προκατειλημμένες όπως είναι-σχεδιάστηκαν για ανθρώπους, πρόσθεσε ο Cook-προοριζόμενος ως τρόπος αξιολόγησης των γενικών ικανοτήτων επίλυσης προβλημάτων. Είναι ακατάλληλα για μια τεχνολογία που προσεγγίζει την επίλυση προβλημάτων με πολύ διαφορετικό τρόπο από ό, τι κάνουν οι άνθρωποι.
“Ένα κοράκι μπορεί να είναι σε θέση να χρησιμοποιήσει ένα εργαλείο για να ανακτήσει μια απόλαυση από ένα κουτί, αλλά αυτό δεν σημαίνει ότι μπορεί να εγγραφεί στο Χάρβαρντ”, δήλωσε ο Cook. «Όταν λύνω ένα πρόβλημα των μαθηματικών, ο εγκέφαλός μου αγωνίζεται επίσης με την ικανότητά του να διαβάζει σωστά τις λέξεις στη σελίδα, να μην σκεφτώ τα ψώνια που πρέπει να κάνω στο δρόμο για το σπίτι ή αν είναι πολύ κρύο στο δωμάτιο αυτή τη στιγμή . Με άλλα λόγια, οι ανθρώπινοι εγκέφαλοι αντιμετωπίζουν πολλά περισσότερα πράγματα όταν λύσουν ένα πρόβλημα – οποιοδήποτε πρόβλημα, δοκιμές IQ ή με άλλο τρόπο – και το κάνουν με πολύ λιγότερη βοήθεια (από το AI.) “
Όλα αυτά δείχνουν την ανάγκη για καλύτερες δοκιμές AI, ο Heidy Khlaaf, επικεφαλής επιστήμονας AI στο Ινστιτούτο AI Now, στο TechCrunch.
“Στην ιστορία του υπολογισμού, δεν συγκρίναμε τις υπολογιστικές ικανότητες με εκείνες των ανθρώπων” ακριβώς επειδή η φύση του υπολογισμού σημαίνει ότι τα συστήματα ήταν πάντα σε θέση να ολοκληρώσουν τα καθήκοντα ήδη πέρα από την ανθρώπινη ικανότητα “, δήλωσε ο Khlaaf. “Αυτή η ιδέα ότι συγκρίνουμε άμεσα τις επιδόσεις των συστημάτων ενάντια στις ανθρώπινες ικανότητες είναι ένα πρόσφατο φαινόμενο που αμφισβητείται σε μεγάλο βαθμό και αυτό που περιβάλλει τη διαμάχη της συνεχώς επεκταμένης-και των κινήσεων που δημιουργούνται για να αξιολογήσουν τα συστήματα AI”.
