В начале войны, оставаясь комендантом Рыбницкого укреплённого района, который в составе 9-й армии Южного фронта участвовал в приграничных сражениях в Молдавии и в Тираспольско-Мелитопольской оборонительной операции. В начале августа УР был преобразован в отдельную пулемётно-артиллерийскую бригаду, а генерал-майор Рыжов 2 сентября 1941 года вступил в должность командира 296-й стрелковой дивизии 9-й армии. Проявил хорошие командирские качества в сложнейшей обстановке Донбасско-Ростовской оборонительной операции, а затем и в Ростовской и в Барвенково-Лозовской наступательных операциях.