Oostenrijk nam deel aan de Tweede Duits-Deense Oorlog van 1864, die eindigde met de Vrede van Wenen, waardoor de hertogdommen Sleeswijk en Holstein aan Oostenrijk en Pruisen werden afgestaan. Rechberg hoopte in de verdere loop van de samenwerking met Pruisen ook een Pruisische garantie voor de Oostenrijkse bezittingen in Italië te verkrijgen. Dit wees Bismarck echter af, aangezien Rechberg geen passende wederdienst kon geven. Hierna volgden bovendien problemen bij de onderhandelingen over de Duitse Zollverein. De Oostenrijkse mislukking in deze onderhandelingen versterkte de al bestaande oppositie tegen Rechberg in Oostenrijk en de middelgrote staten in Zuid-Duitsland. In oktober 1864 trad hij uiteindelijk af.