Hanisch var gift med Ingvild Pharo, kunsthistoriker og forfatter. Med henne fikk han fire sønner: Jørgen, Håkon, Torkjell og Øyvind Pharo Hanisch.