Gillman og konen Esther hadde fire barn og var gift i 67 år (til Gillman døde). De to bodde i Carlsbad i California før de i 2001 flyttet til Century City i Los Angeles.