1912年1月、日本に帰国。1912年2月、内務省に内務技師（高等官六等）として入省。内務省土木局東京土木出張所（現在の国土交通省関東地方整備局）において、19年にわたり荒川放水路（現在の荒川下流域）の建設工事を指揮した。また、鬼怒川の改修工事にもあたっている。1927年6月24日、信濃川大河津分水路工事において自在堰が陥没する事故が発生すると、青山はその修復と工事完成の任を担い、1927年12月に内務省土木局新潟土木出張所長（現在の国土交通省北陸地方整備局長に相当する）に就任した（1934年まで在任）。青山は分水路の改修工事の最高責任者となり（青山の下で現場責任者を務めたのは宮本武之輔であった）、1931年に大河津分水路を完成させた。1934年5月、第5代内務技監に就任、1936年11月まで2年間務めた。内務技監当時、物部長穂の河水統制計画案を採用、河川開発の一元化へ行政の転換を方向付け、以後多目的ダムによる河川開発が始まることになる（電力行政にもたらした影響は日本発送電を参照）。しかし、土木局における技官と事務官の処遇格差をめぐるかねてからの対立が紛争に発展し、青山はその責任をとる形で辞職した（キャリアの項目に言及がある）。なお、1935年には土木学会会長を務めている。内務技監退任後は、東京市水道水源調査委員会、兵庫県水害復興専門委員会の委員や、満州国交通部嘱託として、土木行政・治水事業などの指導にあたった。太平洋戦争中には、パナマ運河の爆破攻撃を立案していた大日本帝国海軍から、パナマ運河についての情報提供を求められた。「私は造ることは知っているが壊し方は知らない」と答え、土木技術者の良心に基づきこれを拒否したと伝えられている。あるいは「せっかく皆で苦労して造ったのだから、そっくりそのまま貰うことを考えたらどうじゃ」と返して破壊への非協力を示したともいう。一方で、各地の治水事業にあたっては「土木も国防である」と語っていた。          1945年6月、長野県に疎開、戦後は磐田の実家に移る。隠居をしたものの生活には困窮したとされ、県などの土木事業の技術顧問として活動を続け、1949年には建設省荒川計画高水量検討会座長を務めた。1963年、磐田市の自宅において、老衰のため死去した。84歳。
前述の通り、東映ビデオの社長在任中に交際費の不正支出問題が明るみに出ているが、その内容はカンヌの出張など年数回の海外出張に夫人や子息を同伴させ、仕事は1日か2日で終わるのにもかかわらずそのまま会社持ちでヨーロッパを2週間も旅行し、飛行機はファーストクラスでホテルも超一流のスイート。移動はすべてリムジンを使用し、贅沢三昧の食事に買い物のし放題。東映ビデオの法人名義になっているするがカード（駿河銀行）を家族で使い、海外出張1回あたり、300万円前後の金が会社口座から引き落とされた。また6年前にも銀座のクラブなどの偽造領収書で会社から約5000万円を不正に所得し、修正申告には応じたが追徴課税は会社に負担させた。また会社に三越や松屋の商品券を月額50万円前後購入させ、私用に使ったり、さらに念の入ったことに、買い物の際の領収証を使って会社から金を受け取った、銀座で購入した時計を経費で落とした、渡辺の自宅近くの書店から子息用の美術全集を購入し、月額5万円の支払いを会社にさせたなどといったものが挙げられる。その他、東映ビデオの販売代理店や下請けの制作プロダクションからの賄賂や収奪もあったとされ、背任横領罪が充分に成立するケースとされた。これが翌1996年2月に怪文書として東映社内は勿論、取り引き銀行や系列のテレビ朝日にもばら撒かれ、1996年3月には東京国税局特別国税調査官が、渡邊が社長を務める東映ビデオに税務調査に入り、渡邊が社長在任中の1990年から1995年までに約1億3000万円の申告漏れを指摘された。この中の約6000万円については、交際費を別の項目に付け替えるなどの仮装・隠ぺい行為による所得隠しがあったと認定され、重加算税をかけられた。また、渡邊が私的に流用した交際費の一部や、家族連れで出掛けた海外出張の経費を役員賞与と認定し、約6000万円の申告漏れを指摘。渡邊個人にも重加算税など約1900万円が追徴された。東映の内部調査では、1991年から3年間の東映ビデオの総交際費は4億5400万円で、うち計約9000万円が後に関係のない高級呉服や高級時計などの領収書をつけるなど不明朗な支出だったことが判明、ずさんな経理処理を恒常的に行っていたと判断した。これらは当時のマスメディアも大きく取り上げる事態となった。税務署の調査で怪文書の内容が驚くほど正確で、税務署も感心するほどだったが、渡邊は『FOCUS』の取材に対して悪びれることなく、「全部会社の接待で使った経費だから、会社に支払わせるのは当然。海外のレセプションは夫人同伴は自然で、妻同行は業務のうちと判断して会社の総務も金を出した。税務署が払えと言うから、オレが使った金だから追徴金を払ったよ。私はいままで体を張って東映を儲けさせて来た。このやり方で40年間うまく行ってるんだから、カネの使い方は変えようがない。"仮面ライダー"は日本で20億円儲けたし、"パワーレンジャー"はアメリカで50億円儲けた。だから怪文書なんてゴミみたいな話をするな！　私は最後の活動屋だよ。いまの若い官僚みたいな社員には分からないかも知れないが、私のやり方は岡田茂会長は理解してくれてるハズだ」などと話した。しかし1996年2月29日付けで「ビデオ事業・テレビ事業統括」担当を解任され、無任所副社長となる。岡田会長は「彼は本体が儲からなかった時に一気に稼いでくれたから、僕も多少の交際費は使わせてやってもいいと思った。でも女房のカネぐらいは自分で出さなくちゃいかん。最初は6月の株主総会までは引き留めてやろうと思ったが、『FOCUS』で偉そうに喋ってるのを記事で読み、亮徳を呼んで『辞めろ』と言ったんだ。彼は素直に『わかりました。申し訳ありません。今後ともよろしくお願いします』と言うから、『夏が過ぎたら個人事務所でも作れ』と言ったんだ」と話した。捜査が進んで解雇になると2億円の退職金が払われなくなる恐れもあった上、組合からも責任を追及されていたこともあり、渡邊は岡田の進言を受け入れ自発的な退職を選択した。渡邊の辞任後、彼に対する退職金支払いについて組合が問題視し、トップを務める岡田の責任を厳しく追及する動きが強まったことから、株主総会前に対応を迫られて退職金不払いを決めた。東映は「イメージ的にも会社に迷惑をかけたため」と説明した。株主総会では株主から渡邊の問題に関する質疑も予想されたが特になかった。怪文書は反岡田勢力からのリークで、本来は岡田が住専と深い関係があることを糾弾し、岡田体制の弱体化を狙ったものだったが、岡田の権力も相当なものでこれを跳ね返され、結局渡邊の首切りだけで終わった。