I det året, straks hans fetter var blitt fjernet, førte Ermengard, datter av keiser Ludvig II av Italia og hustru av Boso av Provence, sin sønn Ludvig til ham for beskyttelse. Karl bekreftet Ludvig i Provence (han kan til og med ha adoptert ham) og fulgte dem til sitt hoff. Han hadde på dette tidspunkt antagelig den hensikt å gjøre Ludvig til sin arving for hele riket. Den 11. november sammenkalte han en forsamling i Frankfurt. Mens han var i byen fikk han nyhetene om at en fremadstrebende nevø, Arnulf av Kärnten, hadde oppmuntret til et stort opprør og marsjerte mot Tyskland med hær av slavere og bayrere. Uken etter falt all hans støtte i Østfranken sammen. De siste som oppga ham var hans lojale alamannerne, skjønt folk i Lotharingia synes aldri å ha formelt ha akseptert hans avsettelse. Ved den 17. november var Karl uten makt, men den nøyaktige hendelsesforløp er ukjent. Foruten å irettesette de troløse gjorde han lite for å forhindre Arnulfs frammarsj – han hadde nylig vært syk igjen – men forsikret at Barnard var overlatt til hans omsorg og muligens også Ludvig. Han ba om noen få eiendommer i Schwaben som han kunne leve sine siste dager og mottok derfor Neidingen. Der døde han seks uker senere den 13. januar 888.