Lite er kjent om O Jin-u, bortsett fra at han var geriljasoldat under Kim Il-sung, og at han steg i gradene i Den koreanske folkearmé etter proklamasjonen av Den demokratiske folkerepublikken Korea (Nord-Korea) i 1948. O Jin-u ble dekorert for sin innsats under den påfølgende Koreakrigen, og forble en trofast rådgiver for Kim Il-sung frem til dennes død i 1994. O Jin-u ble utnevnt til generalstabssjef i luftvåpenet i 1958, general i 1963, visemarskalk i 1982 og marskalk i 1990. Han var direktør for Den koreanske folkearmés politiske avdeling 1967–1968 og 1979–1995 samt generalstabssjef 1968–1979.