Jag tycker GPT levererar otroligt imponerande resultat inom det den är skapad att göra, dvs en språkmodell. Och med tanke på att teknikutvecklingen är exponentiell kommer AI mer generellt utan tvekan att innebära enorma förändringar inom en inte alltför avlägsen framtid.
Riskerna med att det snart kommer finnas intelligens större än den mänskliga är också oroväckande stora (bra exempel är Lex intervju ovan). Man vill ju gärna vara teknikoptimist, men det kan gå riktigt illa om inte det kan hanteras och nu när andan redan är ur flaskan så att säga går det ju inte att backa tillbaka i utveckling.
Riskerna med att det snart kommer finnas intelligens större än den mänskliga är också oroväckande stora (bra exempel är Lex intervju ovan). Man vill ju gärna vara teknikoptimist, men det kan gå riktigt illa om inte det kan hanteras och nu när andan redan är ur flaskan så att säga går det ju inte att backa tillbaka i utveckling.
Är AI bara en kul harmlös leksak? Vad är dom oroliga för?
Pause Giant AI Experiments: An Open Letter
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Pause Giant AI Experiments: An Open Letter
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Lagstiftningen hinner inte med, kvalitetskontrollen hänger inte med, etiska aspekterna hinns inte med osv. Om något går väldigt fort kan det också bli väldigt fel.blackarrow skrev:
Sedan är några av dem också oroliga för att de ligger efter...
Jag skulle gärna se lite mer vad som oroar de som är lagda så. Verklighetsuppfattningen generellt måste vara ganska låg hos såna individer.C Conqvist skrev:
Så in med lite konkreta ting och det behöver inte länkas till Lex F och liknande utan hellre något ur egen grå massa även om den givetvis formats av omgivande brus.
Med tanke på AI i nuläget inte precis är självtänkande utan bara tränad på en enorm mängd data, är det helt avgörande att kvaliten på datan är bra. Det finns inget enkelt sätt utvärdera kvaliten dock.
På tex självkörande bilar är det troligt den stora majoriteten data hanterar normala trafiksituationer, men det finns relativt lite data att ta till om extrema situationer. Det leder till att kör AIn hanterar det vanliga väldigt bra, men troligen är extremt opålitlig för överraskningar.
Det är inte enkelt säga vad tillförd data får för effekt heller, det kan mycket väl bli att AIn blir bättre på en sak men sämre på nåt annat. Regressionstester i all ära, men det är omöjligt ha uttömmande sådana.
På tex självkörande bilar är det troligt den stora majoriteten data hanterar normala trafiksituationer, men det finns relativt lite data att ta till om extrema situationer. Det leder till att kör AIn hanterar det vanliga väldigt bra, men troligen är extremt opålitlig för överraskningar.
Det är inte enkelt säga vad tillförd data får för effekt heller, det kan mycket väl bli att AIn blir bättre på en sak men sämre på nåt annat. Regressionstester i all ära, men det är omöjligt ha uttömmande sådana.
Att det finns rejäla risker och per idag olösta negataiva beteenden hos en AI är inget som bara uttrycks av personer med låg verklighetsuppfattning utan snarare tvärtom. Det säger OpenAI själva som ligger bakom GPT. Teknikoptimisterna hoppas att dessa olösta frågor ska kunna lösas före vi har en riktig AI på plats.GK100 skrev:
Utan några meriter som AI-forskare så är min förståelse att svårigheter med AI är dels att ge den rätt mål och att dels att förhindra oönskat beteende (där båda sakerna hänger ihop).
Modellerna arbetar med en nyttofunktion där AI strävar efter att maximera nyttan. Den utvärderar utfall utifrån att uppnå maxinmal nytta. Det uppstår då målkonflikter vs. "mänsklig etik och moral", en helt "ostyrd" AI kan fatta vilka beslut som helst/göra vad som helst för att maximera nyttofunktionen. Den har ingen medfödd moralisk kompass så att säga. Att formulera en nyttofunktion utan oönskade beteenden är mycket svårt. Det blir ändå svårare för en intelligens som är högre än vår egen som då också riskerar att komma på sätt att maximera nyttan du inte kunnat förutse, men som innebär negativa konsekvenser. Misaligned goals in artificial intelligence - Wikipedia
Vidare kommer AIn att oavsett vilket slutmål (terminal goal) den har att sträva efter att uppnå andra mål (instrumental goals) som en väg mot slutmålet. På precis samma sätt som vi människor gör. Det leder logiskt sett till att AI kommer att motarbeta/försöka förhindra vissa utfall, t.ex.:
- Att den stängs av. Om den är avstängd kommer den ju omöjligen att kunna uppna sina mål.
- Att dess mål förändras.
- Den kommer vilja ackumulera resurser t.ex. pengar, energi, hårdvara mm som ett delmål för att effektivare kunna uppnå slutmålet.
- Alla andra tänkbara scenarion som gör att den förhindras från att uppnå sitt mål.
Det finns en hel del skarpa hjärnor som tänkt på ovanstående problem och man har idag som sagt inte hittat några 100% lösningar.
Shyst hårdrocksballadKloge skrev:
Ni som vet, hur mycket får man "hjälpa till" för att skapa en sådan musikvideo?
Antar att det inte bara är att be AI-verktyget att fixa en hitlåt med musikvideo och ladda upp den på youtube?
Mmm, han har uppenbarligen funderat en hel del kring detta, så väl värt att se, tack för länk! Dock tycker jag han är lite väl pessimistisk. Särskilt avsnittet Advice for young people. Även om risken för att AI skulle döda alla skulle vara säg 99%, så bör man ändå uppmuntra unga att göra som man själv tror skulle vara bäst ifall den enda procenten skulle slå in. Om man tror på honom fullt ut kan man ju lika gärna skita i skolan, börja knarka osv, då det ändå inte spelar någon roll. Nu tror jag själv, utan att vara någon som helst expert, att risken är stor att det går fel med AI. Men inte fullt så stor risk som Eliezer menar på. Med hjälp av din länk hittade jag även detta avsnitt jag tycker är lite mer nyanserat. Har ju hört Max Tegmark förut och gillar hans positiva sätt, men ändå med rejäla varningar.
Max Tegmark: The Case for Halting AI Development | Lex Fridman
OUTLINE: 0:00 - Introduction 1:56 - Intelligent alien civilizations 14:20 - Life 3.0 and superintelligent AI 25:47 - Open letter to pause Giant AI Experiments 50:54 - Maintaining control 1:19:44 - Regulation 1:30:34 - Job automation 1:39:48 - Elon Musk 2:01:31 - Open source 2:08:01 - How AI may kill all humans 2:18:32 - Consciousness 2:27:54 - Nuclear winter 2:38:21 - Questions for AGI
Måste passa på att tipsa om Robert Miles, som har flera kortare och pedagogiska filmer. T.ex. denna
Deadly Truth of General AI? - Computerphile - YouTube
Deadly Truth of General AI? - Computerphile - YouTube
Det är väl lite outsagt i detalj varför vissa anser att AI-utvecklingen bör pausas?
Men att Chat GPT 4 skulle ha en nivå att "ta över" ser jag som helt orealistisk. Jag tror vi ligger 10-tals år från att en AI blir smartare än oss och kan får ett medvetande och en egen vilja.
Men om vi pausar kommer Kina ändå inte göra det och det är i sig en stor risk. På lång sikt kommer någon att blir först med att utveckla en superintelligent AI, vilket kan bli en så stor fördel att hela världsordningen kollapsar i rekordfart. (Ungefär vad Max Tegmark skriver i sin bok).
Nyckeln till undergång pga AI är att den formulerar en egen målbild. Att tjäna sig själv istället för oss. Och är den smartare än oss är det en reell risk.
Men att Chat GPT 4 skulle ha en nivå att "ta över" ser jag som helt orealistisk. Jag tror vi ligger 10-tals år från att en AI blir smartare än oss och kan får ett medvetande och en egen vilja.
Men om vi pausar kommer Kina ändå inte göra det och det är i sig en stor risk. På lång sikt kommer någon att blir först med att utveckla en superintelligent AI, vilket kan bli en så stor fördel att hela världsordningen kollapsar i rekordfart. (Ungefär vad Max Tegmark skriver i sin bok).
Nyckeln till undergång pga AI är att den formulerar en egen målbild. Att tjäna sig själv istället för oss. Och är den smartare än oss är det en reell risk.
Nu ska ChatGPT ha ett plugin till Wolfram Alpha.engs skrev:
https://www.wolfram.com/wolfram-plugin-chatgpt/
Övriga plugins: https://openai.com/blog/chatgpt-plugins
Redigerat: