После начала первой мировой войны был призван в армию в ноябре 1914 года. С февраля 1915 года воевал на Юго-Западном фронте, в 82-й пехотной дивизии на Юго-Западном фронте. Участвовал в осаде Перемышля, в наступательных операциях на Буковине и в Брусиловском прорыве. В декабре 1916 года рядовой Рыбалко был отозван с фронта и служил помощником мастера в мастерской по ремонту вальцовых мельниц Всероссийского земского союза в Збараже и в Тернополе.