В 1952 году Холл женился во второй раз — на Маргарите Хиггинс (1920—1966), известной журналистке и первой женщине-лауреате Пулитцеровской премии за книгу о корейской войне. Они познакомились во время службы в Германии, где Маргарита была руководителем берлинского бюро газеты «New York Herald Tribune». Чета Холлов жила в Джорджтауне, районе Вашингтона. Первый их ребенок, девочка, родился в 1953 году и умер через пять дней после преждевременных родов. В 1958 году Маргарита родила сына, а в 1959 году — дочь. В 1966 году Холл овдовел, после того как Маргарита в возрасте 45 лет умерла от лейшманиоза, которым заразилась во время пребывания на фронте вьетнамской войны.