Wilhelm Maria Sigmund Heinrich von Imhoff war der Sohn von Henriette Behaim von Schwartzbach (* 1849; † 1917) und Gustav Christoph Karl Sigmund von Imhoff. Er wurde im deutsch besetzten Reichsland Elsaß-Lothringen geboren. Sein Sohn Sigmund, Major im Heer, starb beim Unternehmen Barbarossa im August 1941. Seine Schwester Henriette war mit Erich von Botzheim verheiratet.