Han var sønn av kasserer ved Rikshospitalet Adolph Theodor Grimsgaard (1806-1876) og Caroline Emilie Widerberg (1808–1895) og ble gift 12. desember 1867 med Helga Nathalie Sewell, datter av trelastgrosserer Thomas Sewell og Catharina Nathalie Meyer. De etterlot seg fire barn, en av disse var militærhistorikeren Clare Sewell Widerberg.