Князь Божидар принадлежал к старшей линии династии Карагеоргиевичей. Второй сын подполковника сербской армии, князя Георгия Карагеоргиевича (1827—1884) и Сары Карагеоргиевич (в девичестве — Анастасиевич) (1836—1931). Младший брат князя Алексы Карагеоргиевича (1859—1920). Правнук Карагеоргия, основателя династии Карагеоргиевичей и руководителя первого сербского восстания.