The couple had two sons, James (1922–2007) and Robert (1924–2009), but after the birth of Robert, the relationship began to suffer.
При разводе Натали забрала всё его имущество и запретила ему видеться с сыновьями (Джеймс и Роберт после развода стали носить фамилию матери).