В Русской императорской армии с февраля 1917 года. В Красной гвардии с ноября 1918 года. В Красной Армии с января 1919 года. По окончании гражданской войны Рыбальченко с апреля 1921 года, после расформирования дивизии, командовал взводом в 195-м и 196-м пограничных батальонах, а с декабря — в 395-м стрелковом полку 44-й стрелковой дивизии. С января 1922 года находился на учёбе в Киевской высшей военно-педагогической школе, а по её расформировании с февраля 1923 года — в 3-й Киевской военно-инженерной школе. По завершении учёбы с сентября 1923 года проходил службу в 1-й Петроградской военно-инженерной школе, командир взвода, помощник командира роты. С августа 1927 года — слушатель Военной академии РККА им. М. В. Фрунзе, с 1929 года член ВКП(б), с мая 1931 года — начальник штаба 73-го стрелкового полка 25-й стрелковой дивизии Украинского военного округа (УВО). С июля того же года — помощник начальника отдела боевой подготовки штаба УВО, с февраля 1933 года — помощник начальника штаба 80-й стрелковой дивизии, с января 1935 года — начальник штаба и врид начальника Киевской пехотной школы. Имея большой опыт штабной работы, Рыбальченко подготовил труд «Управление стрелковым батальоном в бою», который вышел двумя изданиями в 1933 и 1935 годах. С марта 1936 года служил в штабе 14-го стрелкового корпуса, начальник 4-го отделения, начальник 1-го отделения, он же — заместитель начальника штаба корпуса. С 16 января 1940 года — начальник штаба этого корпуса, в этой должности участвовал в советско-финляндской войне 1939—1940 годов, за что был награждён орденом Красной Звезды. По окончании боевых действий 14-й стрелковый корпус входил в состав Одесского военного округа и располагался в непосредственной близости от государственной границы в районе Кагул, Рени, Измаил, Килия, Болград.