Zu seinem Ende führte schließlich jedoch der Krieg mit der Niederen Vereinigung, die aus den elsässischen Reichsstädten, dem Bistum Basel, Herzog Sigismund von Österreich und der Eidgenossenschaft bestand. Eine erste Niederlage gegen die aufstrebende Militärmacht der Eidgenossen erlitt ein burgundisches Heer am 13. November 1474 bei Héricourt. Damit wurde die in der Schweiz als Burgunderkriege bekannte Reihe von Schlachten eröffnet, die zum Untergang Karls führten. Karl marschierte von Nancy her gegen die Eidgenossenschaft ins Waadtland, wo er sich mit verbündeten Adligen aus dem Herzogtum Savoyen vereinigte. Bei Grandson traf er zum ersten Mal auf eidgenössische Truppen, die er nach der Belagerung der Festung trotz ihrer Kapitulation hängen und ertränken ließ. Am 2. März 1476 wurde er vor Grandson von einer eidgenössischen Armee angegriffen, wobei er eine schwere Niederlage erlitt. Er konnte mit einer Handvoll Gefolgsleuten fliehen, seine Artillerie und die riesige Beute fielen jedoch den Eidgenossen als «Burgunderbeute» in die Hände.