Su padre fue William Warren Baldwin (†1844), había emigrado a Alto Canadá desde Irlanda en 1798; si bien era un hombre con cierta riqueza, una buena familia y un miembro devoto de la Iglesia de Inglaterra, él se oponía a la oligarquía religiosa y política que por ese entonces campeaba a la cabeza del gobierno en Canadá, y por ello educó a su hijo con esos principios.