https://www.ft.com/content/c1f6d948-3dde-405f-924c-09cc0dcf8c84
response written 2023/06/03
“It’s genuinely amazing that these sorts of things can be extracted from a statistical analysis of a large body of text,” he says. But, in his view, that doesn’t make the tools intelligent. Applied statistics is a far more precise descriptor, “but no one wants to use that term, because it’s not as sexy”.”
See on mu meelest väär. Kui mudel on treenitud hästi teksti ennustama, siis jääb mulle arusaamatuks, kuidas sellest saab midagi selle kohta järeldada, et milline algoritm treenitud mudelis implementeeritud on. Teksti võib ilmselt ennustada igasugu viisidel, mis on vähem või rohkem intelligentsed. Näiteks on üks viis teksti ennustamiseks mõelda nii, nagu inimene teksti ennustades mõtleks. Teine viis teksti ennustamiseks oleks teha midagi, mis on natuke rohkem nagu “applied statistics”, nt vaadata viimast kahte sõna ja väljastada vastus, mis esines treeningandmetes pärast neid kahte sõna kõige rohkem. Me teame, et täpselt teist varianti praegused mudelid ei tee, sest sellega ei saaks kaugeltki neid asju teha, mida GPT-4 teeb. Ilmselt ei mõtle GPT-4 teksti ennustamisest ka nii, nagu inimene teksti ennustamisest mõtleks. Minu teada ei tea keegi seni selle kohta suht midagi, kuidas GPT-4 teksti ennustab. Kõige keerulisem asi, millest inimestel on õnnestunud seni aru saada, on minu teada siit artiklist: https://arxiv.org/pdf/2211.00593.pdf. Täpsemalt selgitatakse siin välja, mis algoritmi GPT-2 kasutab lausete nagu “When Mary and John went to the store, John gave a bottle of milk to…” õige sõnaga (antud näites “Mary”) lõpetamiseks, mis pole lähedalgi nt sellest aru saamisele, et kuidas GPT-4 oskab ühtegi siin mainitud asja teha: https://www.youtube.com/watch?v=qbIk7-JPB2c
Statistikaga on GPT-4 puhul ka umbes ainult nii palju pistmist, et statistika uurib asjade ennustamist ja GPT-4 ennustab tekstis järgmiseid sõnu. Ja see pole isegi ka päris õige — õigem oleks öelda, et GPT-4 põhineb mudelil, mis on treenitud ennustama järgmiseid sõnu. Aga sellest baasmudelist GPT-4 saamiseks on ilmselt seda pärast ka muid eesmärke täitma treenitud
Üks viis nende mudelite oskustest mõelda on järgnev: vaadata, mida mudelid 4 aastat tagasi teha oskasid (nt mida GPT-2 teha oskab); vaadata, mida mudelid 2 aastat tagasi teha oskasid (nt GPT-3) ja vaadata, mida mudelid praegu teha oskavad (nt GPT-4); ja siis mõelda, et kui sarnase suurusega sammudes edasi liikuda, siis mida mudelid paari aasta pärast teha võiksid osata. Ma oleksin üllatunud, kui 15 aasta pärast ei oskaks AI teha kõiki asju, mida inimesed praegu teha oskavad.
Teadvuse küsimus on intelligentsuse küsimusest vist erinev. Artiklis esitatud argumendid jäävad mulle selle küsimuse osas suht arusaamatuks, nt:
““The machines we have now, they’re not conscious,” he says. “When one person teaches another person, that is an interaction between consciousnesses.” Meanwhile, AI models are trained by toggling so-called “weights” or the strength of connections between different variables in the model, in order to get a desired output. “It would be a real mistake to think that when you’re teaching a child, all you are doing is adjusting the weights in a network.””
Ma ei saa aru, mis erinevustele see lõik viitab. Et kui üks inimene teist õpetab, siis ta ajust läheb teadvus teise inimese ajju? Et kui inimene õpib, siis ajus toimub mingi protsess, mis pole lihtsalt füüsiliste parameetrite muutmine, mis on kuidagi teadvuse saamiseks vajalik? Kui ta siin jutus millelegi mõistlikule viitab, siis ma ei saa aru, millele täpsemalt, nii et ma ei oska sellele sisukalt vastata. Aga üldiselt inimesed pole võlukunst