Apple-iň hünärmenleri tarapyndan geçirilen ylmy gözleg ChatGPT ýaly uly dil modelleriniň (LLM) hakyky logiki pikirlenmä ukyply däldigini görkezdi.
TechCrunch neşirinde çap edilen makalada şeýle modelleriň ýumşa kän bir ähmiýetli bolmadyk maglumatyň goşulmagy bilen aňsatlyk bilen bulaşýandygy, munuň hem hakyky düşünmegi däl-de, pikir ýöretmä öýkünilýändigini görkezýändigi aýdylýar.
Mysal hökmünde bilermenler şeýle ýumşy getirdiler: “Oliwer anna güni 44 kiwi ýygnady. Şenbe güni 58 kiwi ýygnady. Ýekşenbe güni ol anna günündäkiden iki esse köp kiwi ýygnady. Oliweriň jemi näçe kiwisi bar?”. Model ýumşy dogry çözýär, ýöne “ýekşenbe güni bu kiwileriň 5-isi ortaça ululykdan birneme kiçidi” diýen ýaly ähmiýetsiz jümle goşulanda bolsa, model kiwileriň ululygynyň olaryň sanyna täsiriniň ýokdugyna garamazdan, bu bäş kiwini umumy mukdardan aýryp bilýär.
Ylmy gözlegiň awtorlarynyň biri Mehrdad Farajtabar munuň döwrebap modelleriň logiki pikirlenmede çäkliligini görkezýändigini belleýär.
“Olar ýumşa düşünmeýärler-de, diňe maglumatlarda görlen şablonlary gaýtalaýarlar. Biz peselişiň [netijeliligiň] döwrebap LLM-iň hakyky logiki pikirlenmä ukypsyzdygy bilen baglanyşyklydygyny çaklaýarys; munuň deregine olar okatmak üçin ulanylýan maglumatlarda görlen pikir ýöretme ädimlerini gaýtalamaga çalyşýarlar” – diýip, Farajtabar belledi.
OpenAI-yň wekilleri soraglar sowatly düzülen ýagdaýynda (prompt engineering) dogry netijeleri gazanyp boljakdygyny nygtaýarlar. Ýöne, Farajtabaryň aýtmagyna görä, çylşyrymly ýumuşlar üns sowujy faktorlary aradan aýyrmak üçin has köp kontekst talap edýär.
