Era nieto del botánico John Bartram, y sobrino del naturalista William Bartram, a quienes Say visitaba con frecuencia de niño con especímenes de mariposas y escarabajos.