Hammer giftet seg tre ganger, først i 1927, til en russisk skuespiller, Olga Von Root. I 1943 ble han gift med Angela Zevely. I 1956 giftet han seg med den rike enken Frances Barrett, og de forble gift frem til hennes død i 1989. Hammer fikk bare ett barn, sønnen Julian Armand Hammer, som han fikk med sin første kone. Hammer døde, 92 år gammel, av benmargskreft i desember 1990 i Los Angeles. Han ble begravet i Westwood Village Memorial Park Cemetery. Hans sønnesønn er forretningsmannen Michael Armand Hammer og hans oldebarn er skuespiller Armie Hammer.