Ở giai đoạn đầu cuộc Chiến tranh Vệ quốc Vĩ đại, Rykov là thành viên của Hội đồng Quân sự của Phương diện quân Tây Nam. Sau cái chết bất ngờ của Chính ủy Quân đoàn Nikolay Vashugin do tự sát, ông trở thành lãnh đạo chính trị cao nhất của Phương diện quân cho đến tháng 8 năm 1941, khi Chủ tịch Xô viết Tối cao Ukraina Mykhailo Burmystenko đến phụ trách. Ngày 21 tháng 9 năm 1941, ông bị quân Đức bao vây trong các trận đánh gần Kiev, cùng với sở chỉ huy của Phương diện quân Tây Nam gần thành phố Lokhvytsia, và bị trọng thương. Số phận của ông sau đó không rõ ràng. Theo một số tài liệu, ông chết trong tình trạng bị giam cầm tại một trại tập trung vào tháng 11 năm 1941. Theo thông tin chính thức, Rykov bị quân Đức giết ngay vào tháng 9 năm 1941, trong một cuộc chiến đấu cận chiến bằng lưỡi lê nhằm đột phá vòng vây, cùng với Tư lệnh phương diện quân Mikhail Kirponos và Ủy viên Hội đồng quân sự Mikhail Burmistenko..