江戸詰（定府）の田原藩士である父・渡辺定通と母・栄の長男として、江戸・麹町（現在の東京都千代田区の三宅坂付近）の田原藩邸で生まれた。渡辺家は田原藩で上士の家格を持ち、代々100石の禄を与えられていたが、父定通が養子であることから15人扶持（石に直すと田原藩では27石）に削られ、さらに折からの藩の財政難による減俸で実収入はわずか12石足らずであった。さらに父定通が病気がちで医薬に多くの費用がかかったため、幼少期は極端な貧窮の中に育った。日々の食事にも事欠き、弟や妹は次々に奉公に出されていった。このありさまは、崋山が壮年期に書いた『退役願書之稿』に詳しい。この悲劇が、のちの勉学に励む姿とあわせて太平洋戦争以前の修身の教科書に掲載され、忠孝道徳の範とされた。こうした中、まだ少年の崋山は生計を助けるために得意であった絵を売って、生計を支えるようになる。のちに谷文晁に入門し、絵の才能が大きく花開き、20代半ばには画家として著名となったことから、ようやく生活に苦労せずにすむようになることができた。一方で学問にも励み、田原藩士の鷹見星皐から儒学（朱子学）を学び、18歳のときには昌平坂学問所に通い佐藤一斎から教えを受け、後には松崎慊堂からも学んだ。また、佐藤信淵からは農学を学んでいる。
1947年（昭和22年）4月の第1回参議院議員選挙で第一党は日本社会党の47議席。 以下、日本自由党39、民主党29、国民協同党10、日本共産党4議席をそれぞれ占めたが、無所属議員が108人の当選を見て、最大勢力となった。同年4月20日、無所属で当選した一人で、貴族院議員からのスライド組でもある山本勇造（有三）の当選祝賀会で、後藤隆之助は「既成政党にあきたらぬ清新な人たちばかりを集め、無所属クラブを作ってはどうか」と山本に意見し、山本も乗り気になった。一方、5月1日、やはり貴族院からの転身組であった河井彌八は、古島一雄、赤木正雄らと相談した結果、保守系議員の有志を糾合しようということになった。同じく貴族院出身である慶松勝左衛門もまた、同様の構想を持ち、河井らと合同した。慶松は日本自由党公認で当選したが、政党の枠を超えた会派を作ろうとしていた。こうした動きが相次いだのは、一つには貴族院転身組や当時の官僚は自負心が強く、既成の政党を低く見ていたからである。また、衆議院と一線を画した、不偏不党の統一会派を作ろうとする機運もあった。これについても、政党色を嫌った貴族院の影響があったといえる。しかし、慶松らの計画に参加していた橋本萬右衛門（民主党）が、民主党系の会派が発足したことを打ち明けると、自由党も自前の会派を発足させ、大同団結構想は挫折した。その間も山本らは無所属議員の団体結成を進めた。5月10日、第一回結成準備会を開き、山本ら41名が発起人となった（出席者20名、賛同者21名）。団体名は仮に無所属クラブとし、正式名称は追って決めることにした。5月17日、無所属の参議院議員のうち保守系を中心とした72人が集まり、院内会派「緑風会」を結成した。会派名は、いったん「中正会」に決まったが、山本は貴族院に存在した公正会に似た名称であること、各人の自由意志を尊重するためには、政治的イデオロギーのある名称は好ましくないなどの理由を挙げ、「緑風会」の名称を提案。山本の提案が承認された。また、規約もこの時制定された。山本によれば、「緑風会」の名の由来は、第一に緑風会が発足したのは暦の上では初夏であり、また日本国憲法公布後の初の国会（第1回参議院本会議）が召集されたのは5月20日である。緑風の名は夏風にふさわしく、新しい国会発足を象徴するにもふさわしいこと。第二に、緑は七色の虹の中央に位置することから、右にも左にも傾いていない。さらに、清新・静寂・平安・沈思を連想させる色であり、第二院である参議院の性格に通じるばかりでなく、会の精神を暗示していること。第三に、国会に新鮮な風を送り込みたいという希望を持ったことを理由にしている。5月20日に第1回参議院本会議が召集されると、緑風会は92人に増大し最大勢力となった。主な内訳は、旧華族を中心とした貴族院議員からのスライド組、官僚出身者、文化人などである。初代参議院議長は、緑風会から松平恒雄が選出された。10月20日には、田中耕太郎の草案を元に、綱領を制定した。新憲法の精神を打ち出しつつ、左右の両極を排し、中道主義への立脚を目指す内容であった。もっとも、田中は戦後になって自由を強調するあまり、自由を乱用していると考えた。また国家や民族について考えることが、極端な保守反動と罪悪視されていると認識していた。そのため、「公共の福祉」よりも高次元の「共同の福祉」を提唱したり、家族や伝統の価値を強調し、労使協調を明記しようとした。最終的に、田中の草案から政治色を薄める修正を行い綱領が成立した。一方、国民協同党は参議院で10議席に留まったため、緑風会との統一会派を望んだ。緑風会側は、会員の自由意志を尊重する建前がある以上、国協党に振り回されては困るから離党してから来てくれと要求した。結局、国協党籍は残したまま、緑風会では国協党員としての活動はしないという条件で、緑風会会派入りした（ただし会派名は単に「緑風会」）。しかし、国協党員側は会内に独自のクラブを作っただけでなく、絶えず党と連絡を取り続けた。その結果、緑風会は規約に他の政党・政治団体との二重党籍を禁止する条項を追加し、国協党員に国協党離党か緑風会退会かの二者択一を迫った。結局、2名が緑風会を、残りの8名は国協党を選び、統一会派を解消した。