Когда в 1945 году была провозглашена независимость Индонезии, Харьоно находился в Джакарте; там он вступил в ряды молодой индонезийской армии. Благодаря хорошему образованию и знанию английского, немецкого и нидерландского языков, ему было сразу присвоено звание майора. 1 сентября 1945 года Харьоно был назначен начальником почтовой службы Джакарты. В 1946 году он был секретарём индонезийской делегации на переговорах с голландцами и британцами. В ноябре 1949 Харьоно был секретарём индонезийской делегации на Гаагской конференции круглого стола. С июля 1950 по октябрь 1954 года служил военным атташе Индонезии при посольстве в Гааге, затем был назначен на должность квартирмейстера. С августа 1962 по 1964 Харьоно был главным армейским инспектором, с 1963 года, по совместительству — начальником секции стратегических материалов Верховного оперативного командования. 1 июля 1964 года назначен третьим заместителем начальника штаба сухопутных войск Ахмада Яни.