De Oostenrijkse nederlaag in de Italiaanse Oorlog van 1859 dwong keizer Frans Jozef I een liberaler regime in te voeren. Bach fungeerde als zondebok en werd als vertegenwoordiger van het oude systeem ontslagen. Daarna was hij tot 1867 gezant in het Vaticaan. Hij overleed op 80-jarige leeftijd.