Norwich se casó por primera vez con Anne Frances May Clifford, hija de "sir" Bede Edmund Hugh Clifford; tuvieron una sola hija, Artemis Cooper, historiadora, y un hijo, Jason Charles Duff Bede Cooper.