In einem Rennen des Rahmenprogramms zum Großen Preis von Deutschland 1954 verunglückte Hartmann schwer und beendete seine Karriere als Fahrer. Danach war er Sportleiter bei Borgward. 1959 zog er nach Herdecke, leitete drei Autohäuser in Dortmund und betrieb eine Fahrschule. Im Jahr 1960 kehrte Hartmann noch einmal aktiv zum Motorsport zurück, fuhr mit Günter Isenbügel die Rallye Monte Carlo und gewann dabei auf Borgward Isabella die Klasse der Serientourenwagen.