Dort wurde er Mitglied in der Burschenschaft Alemannia. Im Jahr 1905 unterbrach er sein Studium und ging als Einjährig-Freiwilliger zur Schutztruppe in Deutsch-Südwestafrika. Dort nahm er als Reiter in der Ersatzkompagnie des 1. Feldregiments an der Niederschlagung des Herero-Aufstands teil und erhielt am 20. März 1906 das Militär-Ehrenzeichen 2. Klasse. Eine schwere Typhus-Erkrankung zwang ihn im selben Jahr zur Rückkehr nach Deutschland. Caspar wurde Leutnant der Reserve beim Dragoner-Regiment „Freiherr von Manteuffel“ (Rheinisches) Nr. 5 in Hofgeismar. Zurück in Deutschland vollendete er seine Studien in Marburg und Tübingen und bestand in Kassel die Referendarprüfung. Nach der ersten Ausbildung in Karlshafen wurde er als Gerichtsreferendar in den Kammergerichtsbezirk Berlin versetzt.