Center for AI Safety (CAIS) atly täjirçilik däl guramasy bilen Scale AI kompaniýasy tarapyndan işlenip düzülen «Adamzadyň soňky synagy» (Humanity’s Last Exam) atly baha beriş ulgamy (bençmark), häzirki zaman emeli aň ulgamlarynyň (AI) gowşak taraplaryny ýüze çykarmaga mümkinçilik berdi diýip, The New York Times neşiri habar berýär.
«Adamzadyň soňky synagy» atly baha beriş ulgamy, 50 ýurtdan 1000-den gowrak hünärmenler, şol sanda professorlar, ylmy işgärler we alymlyk derejesi bolan adamlar tarapyndan taýýarlanan soraglary öz içine alýar. Soraglar takyk, tebigy we ynsanperwer ylymlar ýaly köp sanly ugury öz içine alýar. Şeýle-de soraglaryň arasynda grafiki maglumatlar we suratlar bilen baglanyşykly çylşyrymly meseleler bar, bu bolsa soraglary emeli aň ulgamlary üçin has hem kynlaşdyrýar.
Başlangyç synaglaryň netijelerine görä, bazardaky öňdebaryjy emeli aň ulgamlarynyň hiçisi hem beren jogaplarynyň dogrulygy boýunça 10%-den geçip bilmändir. Bu, käbir ugurlarda gazanylan uly üstünliklere garamazdan, emeli aňyň entek çuňňur düşünjä we çylşyrymly meseleleriň çözgüdine ukyply däldigini görkezýär.
CAIS we Scale AI, bu baha beriş ulgamyny bütin işläp düzüjiler we barlagçylar üçin elýeterli etmegi meýilleşdirýärler. Maksat emeli aň modellerini kämilleşdirmek we olaryň mümkinçiliklerini has çuňňur öwrenmekdir.
