Als Rittmeister wurde er 1864 unter Versetzung in das 2. Garde-Dragoner-Regiment als Adjutant zur Garde-Kavallerie-Division kommandiert. Während des Krieges 1866 nahm Kaphengst an der Schlacht bei Königgrätz teil und wurde für seine Verdienste nach Kriegsende mit dem Roten Adlerorden IV. Klasse mit Schwertern ausgezeichnet. Am 30. Oktober 1866 übernahm er als Chef eine Eskadron im 2. Hannoverschen Dragoner-Regiment Nr. 16 in Northeim, wurde 1868 als Major etatmäßiger Stabsoffizier im Magdeburgischen Husaren-Regiment Nr. 10. Ab 1869 war er beim 2. Garde-Ulanen-Regiment, mit dem er am Krieg gegen Frankreich teilnahm. Er kämpfte bei Gravelotte, Beaumont, Sedan, Bapaume und Saint-Quentin und machte die Belagerung von Paris sowie den Sturm auf Le Bourget mit. Mit dem Eisernen Kreuz II. Klasse ausgezeichnet, beauftragte man Kaphengst am 8. August 1871 mit der Führung des Rheinischen Dragoner-Regiments Nr. 5 und ernannte ihn schließlich am 12. Dezember 1871 zu dessen Kommandeur. In dieser Stellung folgte am 12. Januar 1872 die Beförderung zum Oberstleutnant sowie am 19. September 1874 zum Oberst. Als solcher wurde Kaphengst dann nach Karlsruhe versetzt, wo man ihn zum Kommandeur des 3. Badischen Dragoner-Regiments „Prinz Karl“ Nr. 22 ernannt.