Учасник радянсько-фінської війни 1939—1940 років. Під час ведення бойових дій — командир Окремого розвідувального лижного батальйону 596-го стрілецького полку 122-ї дивізії. Під час однієї з операцій Маргелов захоплює в полон офіцерів Генерального штабу Швеції. 21 березня 1940 отримує звання майор.