Senere ble imidlertid forholdet til keiseren dårligere, noe som ikke minst skyldtes hans såvel utyske som urealistiske politikk. Den keiserlige makt støttet seg i Tyskland ikke bare på den rike Fugger-familiens penger og hans bror Ferdinand, men også de forhatte spanske troppene under hertug Alba, spanske råder og den katolske tro, som var en stor del av folket fremmed.