Бос е роден близу градот Хертогенбос, каде воедно го провел сиот свој живот. Дедо му, Јан ван Акен († 1454), бил сликар, прв пат споменат во записи од 1430 г. Познато е дека Јан имал пет сина, од кои четири биле сликари како него. Татко му на Бос, Анмтониус ван Акен (починал ~ 1478) работел како уметнички советник на Богородичното братство. Се смета дека Бос научил да слика од татка си или некој од чичковците, но од нив нема преостанато ниедно дело. Самиот Бос за прв пат се споменува во градскиот тефтер од 1474 г, каде е споменат заедно со уште двајхца браќа и една сестра.