Hammershaimb var gift med Elisabeth Christiane «Jane» Augusta Gad (1829–1908), datter av sogneprest, og senere prost, Pram Gad (1801–1877) og Marie Elisabeth Olsen.