Принц Божидар належав до старшої лінії династії Карагеоргієвичів. Він був другим сином принца Георга Карагеоргієвича і його дружини Сарки (його старшим братом був князь Олексій Карагеоргієвич). Його дід був старшим сином засновника династії Карагеоргієвичів і лідера Першого сербського повстання.