Родился в семье графа Эжена де Савуа-Кариньяна () и его жены Элизабет-Анны Магон де Буагарен (). После кровавых погромов сентября 1792 года семья Жозефа эмигрировала за границу и возвратилась во Францию только после прихода Бонапарта к власти, и объявления амнистии старому дворянству.