Han var samboer med billedkunstneren Eva Lange frem til hun døde 12. mai 2017. Lange og Frisch kjøpte i 1989 forfatterekteparet Annemarta og Johan Borgens kunstnerhjem på Hvaler, og holdt kunstutstillinger der ved siden av å bruke eiendommen som bolig og atelier.