Drew nació en Carmel (Nueva York), en la familia de Gilbert Drew y Catherine Muckleworth. Tenía poca educación y sufrió dificultades económicas después de que muriese su padre, que era dueño de una pequeña granja de ganado, cuando Daniel tenía quince años. Drew se alistó para participar en la Guerra de 1812, aunque no llegó a combatir. Después de la guerra, pasó un tiempo con un zoológico ambulante y luego construyó un exitoso negocio de traslado de ganado.