チェコスロバキア社会主義共和国
1950年にエセル・スカケルと結婚した。エセルはチェコ移民の孫娘に当たり、チェコスロバキア共産党の指導者にしてチェコスロバキア社会主義共和国のクレメント・ゴットワルト大統領は縁戚である。彼女は11人の子供を産んだ。最後の子供であるロリー・ケネディはロバートの死後に誕生した。