Ордерик Виталий включил Болдуина и его брата Ричарда в число видных мирян при дворе герцога Вильгельма в 1066 году. Хотя нет документального подтверждения их участия в битве при Гастингсе, однако их участие в Нормандском завоевании Англии и самой битве вполне вероятно. В 1068 году ставший королём Вильгельм отправился в Юго-Западную Англию, чтобы подавить сопротивление англосаксонской знати, возглавляемой Гитой, матерью последнего англосаксонского короля Гарольда II Годвинсона. Там он приказал построить в Эксетере замок, который отдал Болдуину. Вскоре Болдуин получил должность , которую он занимал ещё в 1086 году. Согласно «Книге Страшного суда» в 1086 году Болдуин, названный как «Болдуин Шериф» (), был главным землевладельцем-мирянином в Девоне.