Douglas ble født i Brooklyn, New York, den andre sønnen til en assistentkasserer i National Park Bank. Han gikk på Trinity Chapel School.