Ernst von Weizsäcker døde i Lindau 4. august 1951. Han var gift med Marianne von Graevenitz, av uradelig familie, og fikk fire barn: Baron Carl Friedrich von Weizsäcker, som ble filosof og fysiker, baron Richard von Weizsäcker, som var Tysklands president fra 1984 til 1994, baronesse Adelheid von Weizsäcker og baron Heinrich von Weizsäcker, som falt i krigen. Hans sønnesønn Ernst Ulrich von Weizsäcker er medlem av det tyske parlamentet, og sønnesønnen Robert Karl von Weizsäcker er sosialøkonom og professor ved universitetet i München. Ernst von Weizsäcker var bror av medisineren Viktor von Weizsäcker, som grunnla den psykosomatiske medisin og den medisinske antropologi.