Po dojściu do władzy Adolfa Hitlera wydano wojnę komunistom, socjaldemokratom i ruchowi polskiemu. W samym Mrągowie aresztowano osiem osób. Byli to działacze Komunistycznej Partii Niemiec i Socjaldemokratycznej Partii Niemiec. W 1938 w kamienicach przy obecnej ulicy Małej Warszawskiej zorganizowano tzw. pollager – obóz dla Polaków. W tym samym roku podczas Nocy kryształowej, wymordowani zostali wszyscy mrągowscy Żydzi, został zdewastowany cmentarz i Synagoga.