I 1965 flyttet Traaholt tilbake til Norge, og bodde et par år i et lite, rødt hus i bakgården ved Hammondgården i Porsgrunn. Det var i denne perioden han for alvor begynte å male, og bestemte seg for å ha kunsten som levevei.