Descendiente de la Casa de Château-Landon, Balduino pasó su niñez y juventud en la corte de su padre en Jerusalén, con poco contacto con su madre, Inés de Courtenay, condesa de Jaffa y Ascalón (y posteriormente señora de Sidón), de la cual su padre se había visto obligado a divorciarse.