Na de Duitse inval in 1940 herleefde de NSNAP. Aan het einde van 1941 werd de partij, net als alle andere nog in Nederland toegestane politieke partijen, met uitzondering van de NSB van Anton Mussert, ontbonden. Van Rappard trad nu toe tot de SS. Hij vocht vanaf april 1941 in Griekenland met de 1. SS-Panzer-Division Leibstandarte-SS Adolf Hitler. Nadat hij vanaf april 1942 een onderofficiersopleiding aan de "Unterführerschule" te Radolfzell had gevolgd, diende Van Rappard van juli tot oktober 1942 in de Sovjet-Unie met het SS-regiment 'Germania', onderdeel van de 5. SS-Panzer-Division Wiking. Na een officiersopleiding op de SS-Junkerschule in Bad Tölz nam hij in de rang van "Untersturmführer" als ordonnans bij het SS-regiment 'De Ruyter', onderdeel van de 23. SS Freiwilligen-Panzergrenadier-Division Nederland (niederländische Nr. 1), deel aan de strijd aan het Oostfront. Zo maakte hij in augustus 1944 de gevechten aan het Narwafront in Estland mee. Tijdens de terugtocht werd Van Rappard ernstig ziek, waarop hij naar Duitsland werd getransporteerd. Voor zijn militaire inzet werd hij gedecoreerd met het IJzeren Kruis der tweede klasse, met Verwundetenabzeichen en het Sturmabzeichen.