O taisteli Kim Il-sungin sissitoverina japanilaisjoukkoja vastaan Mantšuriassa. Hän palasi vuonna 1945 Korean niemimaalle ja palveli komentajana Korean sodassa. 1950-luvun valtataisteluiden ja puhdistusten jälkeen O eteni nopeasti sekä Korean työväenpuolueen että Pohjois-Korean armeijan riveissä. Vuonna 1970 hänestä tuli Korean työväenpuolueen keskuskomitean täysjäsen, ja vuonna 1980 hän sai nimityksen sekä puolueen politbyroon että keskussotilaskomission pysyväksi jäseneksi. Vuodesta 1976 kuolemaansa O toimi asevoimien ministerinä oltuaan aiemmin varaturvallisuusministerinä. Vuodesta 1972 hän toimi lisäksi Pohjois-Korean kansallisen puolustuskomission varapuhemiehenä.