Varning: AI hallucinerar referenser på Byggahus.se

[Redaktionen]

Nu har vi blivit kontaktade av tre olika företag i byggbranschen som har sökt referenser på sig själva i diverse AI-tjänster, och fått till svar att de ligger med på vår Svarta lista. Det är bara det att de inte ligger där och har aldrig gjort. En av de som kontaktat oss är Johan Nilsson vid Södra Sthlms bygg & plåtslageri AB. Han hade googlat sitt eget företagsnamn i AI-läge och fått fram det här:

Du kan läsa blogginlägget här: Varning: AI hallucinerar referenser på Byggahus.se

 

[Cambudgie]

Jo, det stämmer och det är väldigt vanligt att AI hallucinerar. Jag testade att ställa samma fråga flera gånger och den gav olika, motsägelsefulla svar.

Bra saker att veta om AI:
AI framställer sina texter som fakta på ett självsäkert sätt, det behöver inte vara fakta/korrekt för det.
AI kommer att försöka lösa dit problem om minsta möjlighet till lösning finns, även om det är en helt galen och orimlig lösning.
AI vill alltid vara dig till lags.

Den riktiga faran med AI är att folk verkligen tror på allt den spottar ut ur sig. Och ofta titulerar AI-användarna sig själva som experter inom ett ämne efter att konverserat det ämne med den.

 

[surfarn]

Jag använder chatbotar en hel del. Ofta så hänvisar de till en sida med en länk men följer man länken så kan jag inte hitta det som sägs stå där. Så mitt råd är att alltid verifiera länkarna. Eller be ai verifiera länkarna, det kan fungera

 

[Ossian K Olsson]

De enda som eventuell hallucinerar mer än AI är deltagarna på Öland Roots...

 

[pacman42]

"Det är fascinerande hur mycket en AI kan om områden där jag inte kan något, och det är lika fascinerande att se hur mycket fel den har inom områden där jag är mycket kunnig!"

 

[Johan Gunverth]

Väldigt bra observerat av dig, Marlén!

Vad ni däremot, som ägare av all information på byggahus.se, borde göra är att bygga en egen språkmodell av allt som har skrivits av medlemmarna. T.ex. med Ollama eller Mistral som är öppen källkod. Kombinera med RAG från allt innehåll för att specialisera språkbiblioteket. Mest i experimentellt syfte för att se om ni kan bygga en byggahus-assistent. En assistent som har mer fokus på att ”visa vägen” till en diskussion än att försöka ge ett direkt svar.

 

[Marlen Eskilsson]

Tack för tipset! Ska se vad vi kan göra.

 

[DennisCA]

Väldigt bra observerat av dig, Marlén!

Vad ni däremot, som ägare av all information på byggahus.se, borde göra är att bygga en egen språkmodell av allt som har skrivits av medlemmarna. T.ex. med Ollama eller Mistral som är öppen källkod. Kombinera med RAG från allt innehåll för att specialisera språkbiblioteket. Mest i experimentellt syfte för att se om ni kan bygga en byggahus-assistent. En assistent som har mer fokus på att ”visa vägen” till en diskussion än att försöka ge ett direkt svar.

Det ger jag inte mitt medtyckande till gällande min info, får radera mitt konto och alla mina inlägg då.

 

[Bigfoot]

Väldigt bra observerat av dig, Marlén!

Vad ni däremot, som ägare av all information på byggahus.se, borde göra är att bygga en egen språkmodell av allt som har skrivits av medlemmarna. T.ex. med Ollama eller Mistral som är öppen källkod. Kombinera med RAG från allt innehåll för att specialisera språkbiblioteket. Mest i experimentellt syfte för att se om ni kan bygga en byggahus-assistent. En assistent som har mer fokus på att ”visa vägen” till en diskussion än att försöka ge ett direkt svar.

Ytterliggare en tanke: I långa trådar skulle man kunna få en sammanfattning om vad som avhandlats i tråden när man börjar skriva ett svar, för att slippa det fyrahundratjugotredje inlägget som börjar med "jag har inte läst hela tråden men..." och sedan skriver något som redan upprepats tjugo gånger.
(Det är nog bäst att göra det valbart med tanke på att det finns rätt många som är allmänt negativa till AI.)

 

[Dan_Johansson]

Så ni är förberedda när det kommer till Sverige...

 

[Johan Gunverth]

Det ger jag inte mitt medtyckande till gällande min info, …

Det skall naturligtvis respekteras om det visar sig användbart med en lokal AI. Vad som är intressant är ju att det är ett språk som används för en språkmodell. Risken är ju också att man utarmar nytillskottet av information och att det blir ett statiskt dokument. Vilket en språkmodell egentligen är. Ett dokument med tidstämpel på en omvärldsuppfattning.

”De flesta möbelsnickare anser att du bör göra si eller så i den här situationen. Här är några länkar till relevanta trådar”

Frågan är sedan om inte just din information redan har läckt ut till Gemini et.al. 😎

 

[blackarrow]

Vad Google AI-läge anser om DennisCA:

"Användaren DennisCA på Byggahus.se förhåller sig skeptisk och nyanserad till AI, och beskriver tekniken som ett opålitligt verktyg som kräver källkritik."

Google AI-läge är väl snarast AI chat driven sökmotor.

Den kan vara ganska envis med att inte svara på frågan utan svarar det den vill svara och tror du egentligen behöver veta.

Det kan ta lång tid att få den att svara rätt. Mycket längre än ChatGPT, tycker jag. Inte alls samma nivå.

Redan igår kunde man ju lägga till site:www.byggahus.se till en googlesökning, så vad är skillnaden? 🤷‍♂️

 

[lars_stefan_axelsson]

Det kan ta lång tid att få den att svara rätt. Mycket längre än ChatGPT, tycker jag. Inte alls samma nivå.

Ja, man skall inte dra generella slutsatser om vad språkmodeller kan och inte kan genom erfarenheter från gratistjänsterna. De levererar inte alls på samma nivå.

Så, som jag brukar säga (när jag föreläser, eller på TV ): Om dina erfarenheter av stora språkmodeller bygger på gratisversionen eller versioner som är äldre än några månader så är de föråldrade.

Utvecklingen i kapacitet går rasande fort just nu, och modeller klarar galant av uppgifter nu som de inte var i närheten av för mindre än ett år sedan.

Sedan så är de inte perfekta, långtifrån, men redan med de förmågor de har idag så kommer de helt att transformera världen på trettio års sikt. Detta är en större och mer genomgripande förändring än datoriseringen och internet.

 

[blackarrow]

Ja, man skall inte dra generella slutsatser om vad språkmodeller kan och inte kan genom erfarenheter från gratistjänsterna. De levererar inte alls på samma nivå.

Så, som jag brukar säga (när jag föreläser, eller på TV ): Om dina erfarenheter av stora språkmodeller bygger på gratisversionen eller versioner som är äldre än några månader så är de föråldrade.

Utvecklingen i kapacitet går rasande fort just nu, och modeller klarar galant av uppgifter nu som de inte var i närheten av för mindre än ett år sedan.

Sedan så är de inte perfekta, långtifrån, men redan med de förmågor de har idag så kommer de helt att transformera världen på trettio års sikt. Detta är en större och mer genomgripande förändring än datoriseringen och internet.

Man får ju sprida användningen lite...ibland räcker googling, ibland är det bättre att byta till AI-läge.

Och ibland borde man nog hålla sig borta från Google...

ChatGPT erbjuder väl senaste även fritt, men använder man den för mycket spärras man ut en halvdag. Det brukar dock gå att fortsätta, men då konversera med en enklare LLM.

För kodning kan tom äldre versioner vara bättre än nyare. Nyare och större är inte längre automatiskt bättre.

 

[Anders_Nilsson]

AI är lika onödigt som att ha mer än 640 kb minne. Jag frågar mig amsjälv varje dag varför allting går så långsamt när det gick så snabbt i Windows 98 med Word 97.

Ja jag vet, jag är lite gammaldags.