Girardet war in erster Ehe seit 1866 mit Elise Girardet, geborene Mönnigfeld (1843–1888) verheiratet, mit der er sechs Kinder hatte. Die Söhne waren Wilhelm Girardet (Junior) (1874–1953) und Paul Girardet (1878–1970). Seine Tochter Berta aus dieser Ehe war mit Otto Coninx verheiratet. Die Tochter Hedwig (* 1882) heiratete 1911 den niederländischen Anatom Herman Maximilien de Burlet, der 1943 in Katyn als Mitglied der internationalen Gutachtergruppe bei der Obduktion der Opfer des Massakers von Katyn tätig war. 1894 heiratete Wilhelm Girardet Gertrud Hetzer (* 1867). Aus dieser Ehe hatte er drei Kinder. Die Söhne waren Kurt Girardet (1900–1986) und Hellmut Girardet (1902–1973).