С июля 1929 года в РККА - курсант в школы военных летчиков в Вольске, с июня 1930 года продолжил обучение 3-й школе летчиков и летнабов в Оренбурге. С декабря 1931 года: младший лётчик, старший летчик, начальник связи 9-й авиационной эскадрильи (г. Смоленск, Белорусский ВО). В декабре 1933 года эскадрилья переводится на Дальний Восток в посёлок Угловое, где Дзюба продолжил службу командиром авиационного звена, а затем авиационного отряда эскадрильи. С октября 1937 года командир 44-й эскадрильи. С мая 1938 года командир 1-го авиационного полка 7-й истребительной авиационной бригады ВВС ТОФ. В этой должности принимал участие в боевых действиях у озера Хасан. Член ВКП(б) с 1938 года. В сентябре-октябре 1939 года прошел обучение на Высших летно-тактических курсах в городе Липецке. С октября 1939 года- помощник командира 61-й авиационной бригады ВВС Балтийского флота. В этой должности принимал участие в Советско-финской войне. С апреля 1940 года командир 62-й авиационной бригады ВВС Черноморского флота.