第一志望の府立高校尋常科（現：都立桜修館中等教育学校）、第二志望の武蔵高校尋常科（現：私立武蔵高）、第三志望の府立一中（現在の都立日比谷高）と、続け様に受験に失敗し、ようやく第四志望の開成中（現：開成高）にビリに近い成績ですべり込んだ。同い年のいとこが府立一中に合格したこともあって母・花は「あんなボロ中学に入って情けない」と親類の前でオイオイ泣いたという。1939年（昭和14年）4月、開成中学校に入学。同中学3年生の時、哲学の道を志し、日々哲学書ばかり読むようになる。また反軍少年であり、旧制高校の記念祭では上級生らと夕闇の中蜂起して、軍国主義を吹聴する校長ほかの教職員を襲撃して殴っている。勤労動員された航空機の工場では、密かに不良品を作り、抵抗した。1943年（昭和18年）4月、開成4年修了で東京高等学校（現：東京大学・東京大学教育学部附属中等教育学校）に入学。網野善彦、氏家齊一郎が尋常科四年に進級した1943年（昭和18年）4月、一学年上の高等科に入ってきた。氏家によると、渡邉との出会いは6月頃、東高の校庭であった。以来、2人は共に軽演劇場や純喫茶に繰り出す仲になった。1945年（昭和20年）4月、東京帝国大学文学部哲学科に入学。太平洋戦争で徴兵され、近衛師団に配属。渡邊の回顧録によれば陸軍二等兵としての軍隊生活で上官から暴行を受けたという。東京大学在学中の1945年12月、日本共産党に入党を申し込む。日本青年共産同盟の同盟員としてビラ貼りや演説会の勧誘など下積みのような活動を経験して、1947年頃、正式な党員として認められる。東大学生細胞（共産党が地域・職場などに設けた末端組織の旧称）に所属し、他大学でも演説を行い党員を増やしたが、1947年12月、自ら離党届を提出。離党後の彼を、しんぶん赤旗は「戦後の一時期に入党した渡辺氏は、青春を燃やした日々が懐かしいのか、いまでも日本共産党に入っていたことをよく口にしている」と評している。氏家とともに母校である東京高等学校へオルグに行った際に、インターハイを目指す後輩の野球部員達に対して「野球なんてくだらないものをする時ではない!」と共産党への入党を勧めた。1950年（昭和25年）3月、東京帝国大学新聞研究所（現：情報学環）を修了。
東京府豊多摩郡（後の東京都杉並区）出身。父は平吉、母は花。五人姉弟の三番目で長男である。1934年（昭和9年）、恒雄が8歳の時、不動貯金銀行（旧協和銀行の前身、現：りそな銀行）に勤めていた父・平吉が東京・杉並区の自宅玄関で突然吐血、胃癌で1週間後に死去した。当時四十七歳。父が残した十一軒の貸家からの家賃収入で当面の生活費には困らなかったが、稼ぎ手をなくした一家には将来の生活の不安が重くのしかかった。母親の花は、夫を失った打撃からなかなか立ち直れなかった。戦前の家父長下では恒雄が全財産を相続し、一家の柱として責任を負わねばならなかった。母・花はいつもこう言って恒雄を叱咤したという。「お前は総領だ。総領というのは跡継ぎだ。だからお前は勉強して偉くならないかん。成績も全甲（全学科の成績が優秀であること）でないと、援助してくれている目黒の伯父さん に報告できない。」
学校の管理・運営者をキリスト者とし、聖書やキリスト教神学を科目として教え、礼拝などのキリスト教活動を学校行事とすることで、キリスト教の感化を及ぼすことを目的としている。なお、カトリック系学校を特に「カトリック学校」と呼ぶ場合がある。聖書の教育に加え、語学（プロテスタント系学校は英語、カトリック系学校はフランス語）、音楽、世界史などのリベラルアーツ教育を行い、特に婦女子に対する教養教育については開拓的役割を得た。
4月25日早朝、インディアナ第43歩兵連隊とその姉妹部隊はモロー川の難しい渡河を行った後、パインブラフへの行軍を再開した。間もなく連隊は前面に南軍が放棄した宿営地を幾つか発見したが、その地域に南軍の大部隊がいるという報告はドレイクが無視していた。ドレイクはノリス少佐を「完全に」馬鹿にし、連隊にはペースを崩さないよう命令した。この部隊がマークスミルズと呼ばれる小さな空き地に出てきたとき、フェイガンの下馬した旅団に攻撃された。その部隊にはアーカンソー第1騎兵隊も入っていた。インディアナ兵は南軍を一度は撃退したが、直ぐにウィリアム・キャベル准将の指揮する別の南軍にその右翼を衝かれた。第43連隊はアイオワ第36歩兵連隊に支えられ、この時はアーカンソー第1騎兵隊に加えてアーカンソー第2騎兵隊とトマス・M・ギュンターの騎兵大隊と直面していた。第43連隊と第36連隊は空き地の中央にある丸太小屋数軒の方向に後退を強いられたが、そこで砲兵隊が近づいて来る南軍を縦射したものの、ヒュージリーのアーカンソー砲兵隊に反撃を食った。第43連隊と第36連隊はこれ以上は悪くならないと見えたまさにその時に、その左翼をジョー・シェルビーの騎兵隊に攻撃され、このとき一時に3方から攻撃してくる圧倒的に優勢な敵部隊（2対1の比率だった）と戦っていることが分かった。第43連隊G中隊で戦った隊員33名のうち、最初の30分間で23名が戦死するか負傷した。オハイオ第77連隊とアイオワ第1騎兵隊が包囲されるのを避けるために活発に活動したにも拘わらず、北軍は空き地の中で包囲されており、命がけで戦っていた。それでも戦闘は4時間続いた。最後は北軍が降伏を強いられた。支援していた砲兵隊は最後の兵士まで倒されたとされており、致命傷を負った中尉が向かってくる南軍に最後の砲弾を放って、その後にその負傷が原因で倒れた。インディアナ第43連隊G中隊のジョン・モス軍曹に拠れば、連隊は「一斉に」諦めることはなかった。むしろ南軍が突撃を続けたことで、毎回少数の兵士が捕まり、最後は戦死も負傷もせずに残っていた約50名の兵士が逃げるか、捕獲された。これら最後の部隊が降伏を求められたとき、ノリスは自分以外の誰にも降伏するつもりはない、最後の一人になってもと言ってこれを拒否した。ノリスや他の兵士が森の中に逃げ込んだが、ノリスが乗っていた馬が下から撃たれ、ノリスは長靴を失った。ノリスとその仲間はシェルビーの指揮していた所から僅か100ヤード (90 m) で最後は諦めて降伏した。第43連隊の中で211名が捕虜になった。その他の者は逃げ延びて、スティールの本隊まで戻ることができた。