Han deltok som frivillig på finsk side i vinterkrigen 1939–1940. Han deltok deretter i kampene i Norge. Kayser forlot Norge ombord på MK «Leda» 1. september 1941 og ankom Lerwick 4. september . Der sluttet han seg til Kompani Linge, og deltok i Lofotenraidet i 1941.