Balduin var sønn av Eustace II av Boulogne og Ida av Boulogne (1040-1113); Ida var datter av hertug Godfred III av Lorraine og niese av pave Stefan IX, Balduin var yngre bror av Eustace III av Boulogne og Godfred av Bouillon. Som den yngste av brødrene, var Balduin opprinnelig tiltenkt en karriere i kirken, men han gav dette opp rundt 1080. Ifølge William av Tyr, som levde senere på 1100-tallet og ikke kjente Balduin personlig, «var Balduin godt oppfostret i de frie kunstene i sin ungdom. Han ble geistlig, sies det, og på grunn av sin ærverdige bakgrunn hadde han fordeler kjent som prebende i kirkene i Reims, Cambrai og Liège». Etterpå levde han i Normandie hvor han giftet seg med Godehilde (eller Godvera) de Toeni, datter av Raoul de Conches fra en anglo-normannisk adelsfamilie. Han returnerte til Lorraine for å ta kontroll over grevskapet Verdun som tidligere ble holdt av Godfred.