Gimmestad var gift med Amalie B. Anderson. De hadde seks barn, Marie, Agnes, Laura, Herman, Bernard og Victor.