В РККА с 1920 года. Окончил 2-ю Московскую артиллерийскую школу. С декабря 1923 — командир взвода артшколы 4-й стрелковой дивизии. Затем учился в Военной академии РККА, по окончании которой в 1925 году был принят в ВКП(б). С июля 1928 — помощник начальника финансово-планового отдела управления снабжения Московского военного округа. С февраля 1929 состоял в распоряжении Главного управления РККА. С ноября 1930 — начальник Мобилизационно-плановой части уполномоченного наркома К. Е. Ворошилова при Народном комиссариате торговли СССР. С января 1931 — начальник 10-го отдела Артиллерийского управления РККА. С июня 1932 — заместитель начальника штаба Главного управления РККА. С июля 1936 — заместитель начальника мобилизационно-планового отдела Главного управления вооружения и технического снабжения РККА. После восстановления в РККА 10 мая 1937 года института военных комиссаров назначен военкомом Артиллерийского управления РККА, которое возглавлял комкор Н. А. Ефимов. Однако уже 22 мая Ефимов был арестован, а на его место назначен комкор Г. И. Кулик. 7 октября 1938 года утверждён членом Военного совета при народном комиссаре обороны СССР. В январе 1939 Савченко назначен начальником Артиллерийского управления РККА, сменив ставшего заместителем наркома обороны Г. И. Кулика. Всё время нахождения на этом посту с сентября 1939 года являлся членом Главного Военного Совета РККА. На XVIII съезде ВКП(б) Савченко был избран кандидатом в члены ЦК ВКП(б).