Miller giftet seg med Helen Rachel Collet i 1956. De fikk to sønner og en datter. Han bor i Camden North London.