Baron Weizsäcker tilhørte en adelig familie. Hans foreldre var baron Karl Hugo von Weizsäcker, statsminister i Kongedømmet Württemberg, og Paula von Meibom. Hans farfar, den protestantiske teologen Karl Heinrich Weizsäcker, hadde blitt adlet, og faren ble senere opphøyet i friherrestanden.