Το Ανώτατο Δικαστήριο της Καλιφόρνια προέτρεψε το κρατικό μπαρ της Καλιφόρνιας την Πέμπτη να εξηγήσει πώς και γιατί χρησιμοποίησε την τεχνητή νοημοσύνη για να αναπτύξει ερωτήσεις πολλαπλών επιλογών για τις εξετάσεις του Botuary Bar.
Το ανώτατο δικαστήριο της Καλιφόρνια, το οποίο επιβλέπει το κρατικό μπαρ, αποκάλυψε την Τρίτη ότι οι δικαστές της δεν ενημερώθηκαν πριν από την εξέταση ότι το κρατικό μπαρ είχε επιτρέψει στον ανεξάρτητο ψυχομετρικό του να χρησιμοποιήσει το AI για να αναπτύξει ένα μικρό υποσύνολο ερωτήσεων.
Το δικαστήριο την Πέμπτη αύξησε την δημόσια πίεση στο κρατικό μπαρ, ζητώντας να εξηγήσει πώς χρησιμοποίησε την AI για να αναπτύξει ερωτήσεις – και ποιες ενέργειες πήρε για να εξασφαλίσει την αξιοπιστία των ερωτήσεων.
Η ζήτηση έρχεται ως αναφορές των κρατικών γραμμών στο δικαστήριο για να προσαρμόσει τις βαθμολογίες των δοκιμών για εκατοντάδες μελλοντικούς δικηγόρους της Καλιφόρνια που παραπονέθηκαν για πολλαπλά Τεχνικά προβλήματα και παρατυπίες Κατά τη διάρκεια των εξετάσεων του Φεβρουαρίου.
Η διαμάχη είναι κάτι περισσότερο από τη χρήση της τεχνητής νοημοσύνης από το κράτος. Πρόκειται για το πώς η κρατική μπάρα χρησιμοποίησε το AI για να αναπτύξει ερωτήσεις – και πόσο αυστηρή ήταν η διαδικασία εξέτασης του – για μια εξέταση υψηλού στοιχείου που καθορίζει εάν χιλιάδες επίδοξοι δικηγόροι μπορούν να ασκούν το νόμο στην Καλιφόρνια κάθε χρόνο.
Δημιουργεί επίσης ερωτήματα σχετικά με το πώς ήταν οι διαφανείς αξιωματούχοι του κρατικού μπαρ, όπως επιδιώκουν να αποβάλλουν την Εθνική Διάσκεψη της Πολλαπλής Εξέτασης Μπαρ των Εξεταστών Bar-ένα σύστημα που χρησιμοποιούν τα περισσότερα κράτη-και να αναπτύξουν ένα νέο υβριδικό μοντέλο προσωπικών και απομακρυσμένων δοκιμών σε μια προσπάθεια να μειώσουν το κόστος.
Σε δήλωσή του την Πέμπτη, το Ανώτατο Δικαστήριο δήλωσε ότι επιδιώκει απαντήσεις σχετικά με το “Πώς και γιατί το AI χρησιμοποιήθηκε για να σχεδιάσει, να αναθεωρήσει ή να αναπτύξει ορισμένα ερωτήματα πολλαπλών επιλογών, οι προσπάθειες που καταβλήθηκαν για να εξασφαλίσουν την αξιοπιστία του AI, οι οποίες έχουν υποβοηθηθεί από την AI, οι οποίες έχουν υποβοηθηθεί από την AI, οι οποίες έχουν ανατεθεί και η αξιοπιστία και η αξιοπιστία του AI. Παραμένοντας ερωτήσεις πολλαπλών επιλογών που χρησιμοποιούνται για βαθμολόγηση. “
Πέρυσι, το δικαστήριο ενέκρινε το σχέδιο του κράτους να δημιουργήσει μια συμφωνία ύψους 8,25 εκατομμυρίων δολαρίων, πέντε ετών με τον Kaplan για τη δημιουργία 200 ερωτήσεων δοκιμών για μια νέα εξέταση. Το κρατικό μπαρ προσέλαβε επίσης μια ξεχωριστή εταιρεία, Meazure Learning, για να διαχειριστεί τις εξετάσεις.
Μόλις αυτή την εβδομάδα – σχεδόν δύο μήνες μετά την εξέταση – που αποκάλυψε η κρατική γραμμή σε ένα δελτίο τύπου ότι είχε αποκλίνει από το σχέδιό της να χρησιμοποιήσει τις υπηρεσίες εξετάσεων Kaplan για να γράψει όλες τις ερωτήσεις πολλαπλών επιλογών.
Σε ένα παρουσίασητο κρατικό μπαρ αποκάλυψε ότι 100 από τις 171 σημείωσαν ερωτήσεις πολλαπλών επιλογών έγιναν από τον Kaplan και 48 προέρχονται από μια πρώτη εξέταση φοιτητών νόμου. Ένα μικρότερο υποσύνολο 23 ερωτήσεων σημειώθηκε από την ACS Ventures, τον ψυχομετρικό του κράτους και αναπτύχθηκε με τεχνητή νοημοσύνη.
“Έχουμε εμπιστοσύνη στην εγκυρότητα των (ερωτήσεων πολλαπλών επιλογών) για να αξιολογήσουμε με ακρίβεια και δίκαια τη νομική αρμοδιότητα των δοκιμαστών”, δήλωσε σε δήλωσή του η Leah Wilson, εκτελεστικός διευθυντής του κράτους.
Ο Alex Chan, δικηγόρος που προεδρεύει της επιτροπής των εξεταστών Bar, η οποία ασκεί εποπτεία κατά την εξέταση της Καλιφόρνια, δήλωσε στους Times την Τρίτη ότι μόνο ένα μικρό υποσύνολο ερωτήσεων χρησιμοποίησε AI – και όχι απαραίτητα να δημιουργήσει τις ερωτήσεις.
Ο Chan σημείωσε επίσης ότι το Ανώτατο Δικαστήριο της Καλιφόρνια παροτρύνω Το κρατικό μπαρ τον Οκτώβριο για να αναθεωρήσει “τη διαθεσιμότητα οποιωνδήποτε νέων τεχνολογιών, όπως η τεχνητή νοημοσύνη, που θα μπορούσε να καινοτομήσει και να βελτιώσει την αξιοπιστία και την οικονομική αποτελεσματικότητα τέτοιων δοκιμών”.
«Το δικαστήριο έχει δώσει το οδηγία Για να εξετάσουμε τη χρήση του AI, και αυτό ακριβώς θα κάνουμε “, δήλωσε ο Chan.
Η διαδικασία αυτή, εξήγησε αργότερα ο Chan, θα υπόκειται στην αναθεώρηση και την έγκριση του δικαστηρίου.
Την Πέμπτη ο Chan αποκάλυψε στους Times ότι οι υπάλληλοι του κράτους δεν είχαν πει στην Επιτροπή Εξεταστών Bar πριν από τις εξετάσεις που σχεδίαζε να χρησιμοποιήσει το AI.
“Η επιτροπή δεν ενημερώθηκε ποτέ για τη χρήση του AI πριν από την εξέταση, οπότε δεν θα μπορούσε να εξετάσει, πολύ λιγότερο υιοθέτηση, τη χρήση της”, δήλωσε ο Chan.
Η Katie Moran, αναπληρωτής καθηγητής στο Πανεπιστήμιο του San Francisco School of Law, ο οποίος ειδικεύεται στην προετοιμασία των εξετάσεων Bar, δήλωσε ότι αυτό ζητούσε μια σειρά ερωτήσεων.
“Ποιος στο κρατικό μπαρ κατευθύνει την ACS Ventures, μια ψυχομετρική εταιρεία χωρίς υπόβαθρο στις ερωτήσεις για τις εξετάσεις μπαρ, σε ερωτήσεις πολλαπλών επιλογών που θα εμφανίζονται στις εξετάσεις μπαρ;” είπε LinkedIn. «Ποιες κατευθυντήριες γραμμές, αν υπάρχουν, παρέσχε το κρατικό μπαρ;»
Η Mary Basick, βοηθός κοσμήτορας των ακαδημαϊκών δεξιοτήτων στο UC Irvine Law School, δήλωσε ότι ήταν μεγάλη υπόθεση ότι οι αλλαγές στον τρόπο με τον οποίο το κρατικό μπαρ συνέταξε τις ερωτήσεις της δεν εγκρίθηκε από την Επιτροπή Εξεταστών Bar ή το Ανώτατο Δικαστήριο της Καλιφόρνια.
“Αυτό που ενέκριναν ήταν μια εξέταση πολλαπλών επιλογών με ερωτήσεις με Kaplan”, ανέφερε. “Η Kaplan είναι μια εταιρεία προετοιμασίας μπαρ, οπότε φυσικά έχει γνώση σχετικά με τις νομικές έννοιες που δοκιμάζονται, η ίδια η εξέταση του μπαρ, πώς πρέπει να δομηθούν οι ερωτήσεις. Έτσι, η σκέψη ήταν ότι δεν θα ήταν μια μεγάλη αλλαγή”.
Οποιαδήποτε σημαντική αλλαγή που θα μπορούσε να επηρεάσει τον τρόπο με τον οποίο οι δοκιμαστές προετοιμάζονται για τις εξετάσεις, σημείωσε, απαιτεί μια προειδοποίηση δύο ετών στο πλαίσιο της Καλιφόρνια Κωδικός επιχειρηματικών και επαγγελμάτων.
“Συνήθως, αυτοί οι τύποι ερωτήσεων χρειάζονται χρόνια για να αναπτυχθούν για να βεβαιωθείτε ότι είναι έγκυροι και αξιόπιστοι και υπάρχουν πολλά βήματα αναθεώρησης”, δήλωσε ο Basick. “Δεν υπήρχε απλώς αρκετός χρόνος για να το κάνουμε αυτό.”
Ο Basick και άλλοι καθηγητές έχουν επίσης προκαλέσει ανησυχίες ότι η πρόσληψη μη νομιμοποιημένου ψυχομετρητή για την ανάπτυξη ερωτήσεων με την AI, καθώς και για να καθορίσει εάν οι ερωτήσεις είναι έγκυρες και αξιόπιστες, αντιπροσωπεύουν σύγκρουση συμφερόντων.
Η κρατική γραμμή αμφισβήτησε αυτή την ιδέα: «Η διαδικασία επικύρωσης των ερωτήσεων και της δοκιμής για την αξιοπιστία δεν είναι υποκειμενική και οι στατιστικές παράμετροι που χρησιμοποιούνται από τον ψυχομετρικό παραμένουν οι ίδιες ανεξάρτητα από την πηγή της ερώτησης», ανέφερε σε δήλωση.
Την Τρίτη, το κρατικό μπαρ δήλωσε στους Times ότι όλες οι ερωτήσεις αναθεωρήθηκαν από τους πίνακες επικύρωσης περιεχομένου και τους εμπειρογνώμονες των θεμάτων πριν από τις εξετάσεις για παράγοντες, όπως η νομική ακρίβεια, η ελάχιστη ικανότητα και η πιθανή προκατάληψη.
Όταν μετράται για αξιοπιστία, ανέφερε η κρατική ράβδος, οι συνδυασμένες ερωτήσεις πολλαπλών επιλογών από όλες τις πηγές-συμπεριλαμβανομένου του AI-πραγματοποίησαν “πάνω από τον ψυχομετρικό στόχο 0,80”.
Το κρατικό μπαρ δεν έχει ακόμη απαντήσει σε ερωτήσεις σχετικά με το γιατί αποκλίνει από το σχέδιό του για το Kaplan για να σχεδιάσει όλες τις εξετάσεις πολλαπλών επιλογών. Δεν έχει επίσης επεξεργαστεί τον τρόπο με τον οποίο η ACS Ventures χρησιμοποίησε την AI για να αναπτύξει τις ερωτήσεις του.
