Baldwin nace en Guilford Connecticut, siendo el segundo hijo de un herrero que tuvo en total doce hijos con dos diferentes esposas.