Joseph Skarbek est né à Mensignac en Dordogne le , au sein d'une famille issue de la vieille noblesse polonaise : comtes Skarbek z Góra (de Jakub Góra), blason Abdank. Il est petit-fils du sous-lieutenant de l’armée polonaise Józef Maciej Skarbek émigré en France en 1832, à l’âge de vingt-deux ans, à la suite de l’échec de l’insurrection polonaise de novembre 1830 contre l'Empire russe.