En 1877 se casó con Irene Schäuffelen con quien tuvo a la pintora Eva von Hildebrand, Elizabeth, la escultora Irene Georgii-Hildebrand, Sylvie, Bertel —que se casó con el compositor Walter Braunfels— y el filósofo católico Dietrich von Hildebrand.