I 1960 giftet han seg med Wenche Lise Dedichen (født 1932), som var grafiker utdannet i Wien. De fikk to barn, datteren Tone Lyche, som ble massasjeterapeut/kinesiolog og sønnen Harald Lyche, som ble kunstner.