Không lâu trước Chiến dịch Barbarossa, Rychagov đã bị loại khỏi chức vụ Tư lệnh Không quân do cuộc thanh trừng Hồng quân năm 1941, được thay thế bởi Pavel Zhigarev. Đây là kết quả của cuộc điều tra của Bộ Chính trị về tỷ lệ tai nạn cao trong Lực lượng Không quân. Hơn nữa, vào tháng 5 năm 1941, một chiếc Junkers Ju 52 của Đức đã hạ cánh xuống Moskva, không bị lực lượng phòng không phát hiện trước đó, dẫn đến các vụ bắt giữ lớn trong giới lãnh đạo Không quân. Trong trường hợp của Rychagov, ông bị trừng phạt vì coi máy bay Liên Xô là "quan tài bay".