Far var Richard Bayley (død 1801), en kjent New York-lege og leder av , Han tok seg av abkommende immigranter som ilandsteg på Staten Island. Han pleiet også nyyorkere da gulfeberen herjet i byen (i ett utbrud tok den livbet av 700 personer på fire måneder). Bayley ble senere den første professor i anatomi ved Columbia College.