Johan og Annemarta kjøpte i 1968 en eiendom på Asmaløy i Hvaler-skjærgården og etablerte der kunstnerhjemmet «Knatten». Kjøpet ble finansiert ved hjelp av prispengene som fulgte med tildelingen av Nordisk råds litteraturpris til Johan Borgen i 1967.