Per Arne Olsen ble frikjent i en granskningsrapport om den såkalte Ungbo-saken i Tønsberg mens han var ordfører i kommunen og styremedlem i Tønsberg-Nøtterøy boligbyggelag. Boligbyggelaget fikk kjøpt en tomt rimelig av kommunen mot å bygge billige leiligheter for ungdom. Da forkjøpsfristen for unge medlemmer var ute, kjøpte Olsen en leilighet som senere ble solgt med betydelig fortjeneste. På oppdrag fra kontrollutvalget i Tønsberg gransket revisjonsselskapet KPMG hans og enkelte andre lokale politikeres roller. Det konkluderte at det det ikke kunne sies at «ervervene representerer brudd med fattede vedtak, eller at de omtalte personene har forholdt seg illojalt til vedtak som er truffet.» Imidlertid kritiserte kommunens etikkutvalg at politiske tillitsmenn selv kjøpte leilighetene til tross for at de ikke tilhørte målgruppen.