Karl-Heinz Ruffmann besuchte das Luisengymnasium Memel. Nach dem Abitur studierte er 1939–1941 an der Philosophischen Fakultät der Universität Jena. Er wurde als Soldat verwundet und konnte 1944 die Albertus-Universität Königsberg besuchen. Als die Ostpreußische Operation (1945) anbrach, flüchtete er über Hel per Schiff nach Kopenhagen. Nach Rückkehr aus der Internierung setzte er 1946–1950 sein Studium an der Georg-August-Universität Göttingen fort. Mit einer Doktorarbeit bei Reinhard Wittram wurde er 1950 zum Dr. phil. promoviert. 1950/51 verweilte er auf Kosten des British Council in Hull und London und bis 1954 war er Stipendiat der Deutschen Forschungsgemeinschaft. Er arbeitete als wissenschaftliche Hilfskraft an der Universität Göttingen. Nachdem 1957 das Ostkolleg der Bundeszentrale für Heimatdienst in Köln gegründet worden war, fungierte er hier als wissenschaftlicher Mitarbeiter, Studienleiter und Mitglied des Direktoriums. Im selben Jahr wurde er in die Historische Kommission für ost- und westpreußische Landesforschung aufgenommen. 1961 habilitierte er sich an der Universität zu Köln mit einem Thema über osteuropäische Geschichte. Zum Wintersemester 1962/63 wurde er als ordentlicher Professor an den neugeschaffenen Lehrstuhl für osteuropäische Geschichte der Friedrich-Alexander-Universität Erlangen-Nürnberg berufen. Ende März 1990 wurde er emeritiert.