Etter artium ved Trondheim katedralskole i 1905 og juridisk embedseksamen i 1910 ble Klingenberg fullmektig ved Gauldal sorenskriverembede, deretter ved Trondheim byfogdembede. I 1912 ble han fullmektig i advokatfirmaet som hans far hadde etablert sammen med Jacob Lindboe tilbake i 1870, og hvor Olafs bror, Odd, også var opptatt som kompanjong. Den andre fullmektigen i firmaet var Christian Blom, senere lagmann ved Frostating lagmannsrett. Ettersom Odd Klingenbergs politiske engasjement tok mye tid, måtte Olaf ta en desto større del av advokatvirksomheten. I 1922 fikk han møterett for Høyesterett og ble fast forsvarer. Klingenberg ble værende i advokatgjerningen frem til sin død i 1968. Så sent som etter fylte 80 år prosederte han – og vant – en sak i Høyesterett for firmaets gamle klient, Det Nordenfjeldske Dampskibsselskab.