Neben seiner Arbeit beim Militär beschäftigte er sich schon früh mit Literatur. Er kannte die bedeutendsten Vertreter des zeitgenössischen Literaturlebens. Károly Kiss schrieb vor allem Gedichte und Beiträge, die in namhaften ungarischen Zeitschriften erschienen. Er war Mitarbeiter der renommierten, von Károly Kisfaludy herausgegebenen Taschenbuch-Serie "Aurora". Außerdem verfasste er eine Reihe von militärwissenschaftlichen und militärhistorischen Abhandlungen. Er hat sich mit dem Feldzug von János Hunyadi, vor allem mit der Belagerung von Belgrad (altungarisch: Nándorfehérvár), der Schlacht bei Warna und der Schlacht auf dem Amselfeld (ungarisch: Rigómező) eingehend beschäftigt. Er interessierte sich auch für die Schlachten der französischen Revolution und für die Napoleonischen Kriege. Seine Antrittsrede an der Akademie hatte die Französische Revolution zum Thema.