Хертогенбос во XV век бил просперитетен град и седиште на војводството Брабант во денешна јужна Холандија, кој тогаш бил составен дел од Бургундските Ниски Земји. Подоцна градот прешол од власта на Хабсбурговците по пат на брак. Во 1463 г. се случил катастрофален пожар, во кој изгореле 4.000 куќи - настан кој веројатно го посведочил самиот Бос како дете. Подоцна станал баран сликар и честопати добивал нарачки од странство. Во 1488 се придружил кон високопочитуваното Богородично братство, ултраконзервативна верска група од 40 влијателни граѓани на Хертогенбос, и уште 7.000 надворешни членови од разни делови на Европа.