Balduin var sønn av en Audacer som det knapt finnes informasjon om og hans legendariske opprinnelse er blitt avvist av dagens forskning. På den tiden da Balduin først opptrer i de historiske kildene var han allerede en greve, antagelig over området Flandern, men det er ikke bekreftet. Grev Balduin ble for alvor kjent da han rømte med prinsesse Judith, datter av Karl den skallede, konge av Vestfranken. Judith hadde tidligere vært gift med Ethelwulf av Wessex, en småkonge i England, og deretter med hans sønn Ethelbald, men ekteskapet ble senere annullert på grunn av slektskapet, og Judith dro tilbake til Frankrike.