Hans samtidige beskrev ham som en meget imøtekommende og vennlig mann og priste hans kyskhet. Han måtte likevel under sitt styre stadig vekk føre krig. I løpet av hans regjering kjempet han med hertug Otto I av Gelre om områdene Veluwe og Salland og med borggrevene av Groningen og Coevorden. Krigene i Oversticht, der plyndring av biskopens eiendommer var dagligdags, var en stor belastning for bispedømmets finanser. I 1188 forsonte han seg med motstanderen Otto på riksdagen i Mainz, trolig gjennom keiser Fredrik Barbarossas megling. Etter at Otto vendte tilbake fra det hellige land blusset striden dog opp igjen. Balduin begav seg til Mainz for å be om keiser Henrik VIs hjelp, men døde få dager etter ankomsten. Han ble begravet i Martinskirken i Utrecht.