Fischer-Schweder ble knyttet til Einsatzkommando Tilsit underlagt Einsatzgruppe A. Den 24. juni 1941, to dager etter invasjonen av Sovjetunionen, ga Hans-Joachim Böhme ordre om at 200 jøder i Gargždai (tysk: Garsden; litt øst for Memel/Klaipėda) skulle skytes. Overfør sine underordnede i Memel-politiet, som ble valgt ut til å gjennomføre henrettelsene, begrunnet Fischer-Schweder aksjonen med at de dødsdømte hadde angrepet tyske soldater. Dette var den første massehenrettelsene av jøder i Litauen. Fra 1942 tjenestegjorde han i forskjellige panserenheter av Waffen-SS. I mars 1943 ble hans uregelmessige atferd med fyll og hang til å skyte innendørs rapportert, hvorpå han ble degradert til korporal.