Narodil se na hlavním rodovém sídle na zámku v Hrubém Rohozci, byl synem hraběte Františka Vincence Desfourse (1806–1869) a jeho manželky Marie Anny von Mayersbach (1819–1879). Dětství strávil na zámku v Horních Beřkovicích, studoval v Praze a Drážďanech, v roce 1858 vstoupil do armády a zúčastnil se rakousko-sardinské války v roce 1859. V hodnosti nadporučíka armádu opustil v roce 1865, po otci zdědil členství v rakouské panské sněmovně (1869), kde patřil k obhájcům českého historického státního práva a odpůrcům mocenských zájmů habsburské monarchie. V roce 1875 se stal čestným rytířem Maltézského řádu a v roce 1879 byl jmenován c.k. komořím. V soukromí se zabýval historií svého rodu, mezi jeho zájmy patřil také lov.