Henry Drapers far, John William Draper, var en dyktig lege, kjemiker, botaniker og professor ved New York University; og vinteren 1839–1840 var han også den første til å fotografere månen gjennom et teleskop. Drapers mor var Antonia Coetana de Paiva Pereira Gardner, datter av den brasilianske keiserens livlege.