Nachdem 1703 der antihabsburgische Aufstand von Franz II. Rákóczi ausbrach, zog Károlyi mit seinen Truppen gegen die Aufständischen Kuruzen und besiegte sie in der Schlacht bei Dolha. Als er sich mit einer erbeuteten Kurzen-Fahne nach Wien begab, um dort von seinen Erfolgen gegen die Kuruzen zu berichten wurde er Opfer einer Intrige gegen ihn. Gerüchte wurden in Umlauf gebracht denen zufolge er die Fahne aus einem der Waffenlager Rákóczis genommen habe um sich damit in Wien zu brüsten. Erbost darüber verließ Károlyi Wien und schloss sich den Aufständischen unter Franz II. Rákóczi an. In seinem Heere kämpfte er ab 1705 erfolgreich jenseits der Theiß und in Siebenbürgen gegen die kaiserlichen Truppen. Jedoch wendete sich das Blatt 1708, nachdem die Kuruzen die Schlacht bei Trentschin und 1710 die Schlacht bei Romhány vernichtend verloren. 1710 wurde Károlyi zwar zum Oberbefehlshaber der Kuruzen ernannt, jedoch mussten er und andere Generäle der Aufständischen erkennen, dass der Frieden nicht mehr militärisch, sondern nur noch mit einem Kompromiss herbeigeführt werden kann. Ein erster Waffenstillstand wurde durch Briefkorrespondenz Károlyis mit dem kaiserlichen General Johann Pállfy am 13. Januar 1711 ausgehandelt. Am 31. Januar trafen sich Pálffy und Rákóczi auf Schloss Vaja zu Friedensverhandlungen. Rákóczi wollte aber die angebotenen Bedingungen, samt Amnestie und Rückerstattung seiner Güter nicht akzeptieren und ging nach Polen, um mit Zar Peter dem Großen Verhandlungen über militärische Unterstützung zu führen. Károlyi wurde von ihm beauftragt die Gespräche mit General Pállfy in die Länge zu ziehen. Pállfy und Károlyi einigten sich aber indessen auf einen Friedensvertrag (Friede von Sathmar) und Károlyi leistete seinen Eid auf den Kaiser ab. Am 27. Januar 1712 wurde er von Kaiser Karl VI. zum Feldherrn-Stellvertreter ernannt und am 5. April in den Grafenstand erhoben.