I 1981 ble han fengslet for heleri av fire kilo gullsmykker, noe som førte til store presseoppslag, og fire av hans barn ble i 1990 dømt i den såkalte Karoli-saken, der Kreditkassen og Norges Bank betalte 25 millioner kroner for falske diamanter.