一橋大学大学院商学研究科教授の渡辺博史が日本銀行副総裁候補として取り沙汰されるなか、山岡が渡辺の留守番電話に「民主党は反対するとお伝えしておく」との伝言を残し、間接的に辞退を促していたことが明らかになった。2008年（平成20年）4月8日、参議院議院運営委員会で日本銀行副総裁候補として渡辺の所信聴取と質疑応答が行われた際、参議院議員西田昌司が「民主党幹部が『あなたの人事に反対なので伝えておく』と電話したという話がある」と質問した。渡辺は「答えを差し控える」と回答しており、その真偽は明らかにしなかったが、同日、民主党側は電話の主が山岡だったと認めた。この電話は、内閣が渡辺を副総裁候補として衆議院や参議院に提示する前にかけられており、自民党から「人事案の決定前に、国会議員が候補者に反対だと直接伝えるのは、辞退するよう政治的圧力をかけたようなものだ」と指摘されている。西田も渡辺への質疑の際に「事実なら人事への政治介入で重大問題だ」と指摘し、自由民主党国会対策委員長大島理森が山岡の参考人招致の検討を表明した。与党からは懲罰動議に該当する行為と指摘された。
2009年総選挙の政策アンケートで、永住外国人の地方参政権に「どちらかと言えば賛成」と返答。2010年（平成22年）1月9日、川上義博参院議員の会合で「日本は一国至上主義でやってきたが、これからはそういうわけにはいかない。あらゆる国の人が結集するのが強い。アメリカ合衆国みたいにしないと日本の明日はない」と述べた。1月12日に民団の新年会で「党で決定した外国人参政権法案を党の国対委員長として、今国会で必ず実現するように、全力を挙げて取り組んでまいりたい」と述べた。2010年（平成22年）3月18日、韓国大使館で権哲賢駐日韓国大使と会食し、「（外国人参政権は）参院選があるからできないが、選挙が終わったらやる」と述べた。
2009年（平成21年）の第45回衆議院議員総選挙により発足した鳩山内閣において、国会対策委員長に留任。11月の衆院予算委員会についての「何があっても3日間で終えるつもりだ。（野党が）邪魔をするなら国民生活を守るため、強行でも法案は可決していくという固い決意でこの国会に臨む」と発言。2010年（平成22年）6月の鳩山首相辞任を受け、発足した菅直人新執行部では、党副代表兼広報委員長に就任（後任の国対委員長は樽床伸二）。いわゆる「脱小沢」人事の一環とされた。2010年9月民主党代表選挙では小沢一郎擁立に奔走した。代表選で小沢は菅に敗れ、新執行部で山岡は副代表に留任、広報委員長は退任した（後任の広報委員長は大塚耕平）。
1992年3月20日に足利市で催された「山岡賢次を励ます『春分の日の集い』」で演説を終えた金丸信と山岡が壇上で握手している最中に、金丸が右翼の男から銃撃を受けているが、弾は全て誰にも当たらなかった。小沢一郎とは新生党時代から政治行動を共にし、小沢と自民党など他党の幹部との連絡役を務めた。自由党時代、小沢側近の中で自自連立に最後まで反対した。
1970年（昭和45年）、作家・山岡荘八こと藤野庄蔵の後妻の連れ子・秀江と結婚。藤野庄蔵の後妻の婿養子となる。荘八の秘書として晩年行動を共にし、作品の管理などに務めたとされる。山岡は自身の公式サイトで、荘八について「国民のための政治と真の平和を切望し、その遺志を息子山岡けんじに託し71歳の鮮烈な生涯を閉じた」と記している。
主人公のはなが編入する修和女学校の設定やくだりは、実際の村岡花子が明治時代に学んだ東洋英和女学校（現・東洋英和女学院中学部・高等部）でのエピソードを基にしている。作品としての設定は以下の通り。明治時代、カナダ人の宣教師により設立された、東京・麻布に校舎を構えるミッション系女学校。校内は男子禁制、生徒の大半は特権階級の令嬢で、言葉遣いや礼儀作法に厳しく、校長を筆頭とする複数の外国人教師により徹底した英語教育が行われている。生徒たちは下の学年から予科・本科・高等科に分けられ、下級生は「小さい人」、上級生は「大きい方」と呼ばれる。はなのように貧しい家の子女に対しては授業料が免除される「給費生」制度もあるが、試験で一度でも落第点を取れば即刻退学を言い渡される（他の生徒は悪くても留年で済む）など条件が厳しく、実際に給費生として編入を許可される生徒は極めて少ない。寄宿生たちは基本的に4人1組の相部屋で生活し、教師たちも寄宿舎に住み込みで生徒たちと年中生活を共にしている。この学校で、当時の日本で最高水準の教養を身に付けた生徒たちは、外交官や貿易会社などエリート階層の男性から非常に人気が高く、在学中に縁談を持ち込まれる生徒も多い。また、多くの生徒たちはそのような好条件の縁談を獲得することを最大の目標としている。そのため、孤児院での奉仕活動や、校内年中行事として春に開催される大文學會（現在でいう文化祭）は、外部の男性と接点を持てる絶好の機会として生徒たちに認識されている。しかし、男性から付け文をもらったことが発覚すると、校長により焼却処分される上、二度と男性から付け文を受け取らない趣旨の反省文を100回書く罰則が課されるなど、在学中の男女交際は厳しく禁じられている。なお、在学中に縁談が成立した生徒は多くの場合、卒業を待たず退学することが慣例となっている。なお、校長室の机には、カナダの国旗ではなくイギリスの国旗（ユニオンジャック）が日本の国旗と共に置かれている。