Ngày 5 tháng 7, một vài tuần sau khi Đức xâm lược Liên Xô, Babadzhanian đã được phái đến Smolensk, nơi ông đảm nhận chức vụ chỉ huy Trung đoàn súng trường 395, thuộc Sư đoàn súng trường 127. Đơn vị ông đã tham gia đoạn hậu trong một cuộc rút lui tạm thời, kháng cự mạnh mẽ chống lại các lực lượng phe Trục trước khi chuyển sang tấn công. Đơn vị ông là đơn vị đầu tiên tiến vào lại thành phố Yelnya vào ngày 8 tháng 9 năm 1941. Sau khi nghỉ ngơi và tái trang bị ở Kursk, đơn vị sớm trở lại chiến đấu trên một phần của lãnh thổ Nga và trung đoàn của Babadzhanian đã tham gia ngăn chặn đà tiến của phe Trục ở Fatezh và hỗ trợ cho việc di tản Kursk.