Sein Vater Fürst Jan Tadeusz (* 24. September 1826; † 7. April 1908), verheiratet mit Maria Gräfin Zamoyska (* 1841; † 1922), war Mitglied der polnischen Untergrundregierung während des Aufstandes von 1863 und wurde von den zaristischen Behörden nach Nischni Nowgorod verbannt, wo Zdzislaw als ältestes von seinen sechs Kindern geboren wurde. Nach der Rückkehr nach Kongresspolen im Jahre 1865 entwickelte Fürst Jan Tadeusz großangelegte Tätigkeiten als Vorsitzender der Warschauer Gesellschaft für Wohltätigkeit, im Bankwesen, wo er Mitbegründer der Warschauer Kreditanstalt und der Handelsbank war, in der Wirtschaftswissenschaft als Erforscher der Wirtschaftsgeschichte Polens und in der Gewerkschaftsbewegung, wo er half, mehrere Handwerkervereine und -gewerkschaften (der Schuster, der Schneider, der Lederarbeiter usw.) zu gründen. Die Hauptstadt verdankt ihm auch die Rettung des Wahrzeichens der Stadt, der Sigismundssäule: Die russischen Behörden wollten 1887 das baufällig gewordene Denkmal aus dem 17. Jahrhundert abreißen. Fürst Jan Tadeusz organisierte eine Spendenaktion in allen drei Teilen Polens, die die nötigen Mittel für eine neue Säule bereitstellen konnte (sie überlebte bis 1944 und wurde nach dem Warschauer Aufstand von der SS zerstört, die heutige von 1947 ist also die dritte).