V průběhu prusko-rakouské války utrpěl ponižující porážku v bitvě u Jičína, za níž se dostal před válečný soud, ale byl zproštěn obvinění díky svému vysokému společenskému postavení. Údajně pak ale musel na významné akce nosit na ruce červenou stuhu. Proto už moc do společnosti nechodil a poslední léta strávil na odpočinku ve Frýdlantě a Liberci v Čechách (dnešní Česko).