長職の反上杉路線は長城に継承されたが、天正4年（1576年）、足利義昭により第三次信長包囲網が形成されると、上杉家は反織田信長の立場を鮮明化し、北陸地方へ大規模な侵攻を行った。この際に増山城は攻略され、長城の消息も途絶えてしまい、ここに長職の再興した神保氏嫡流は滅亡した。織田氏に仕えた嫡子長住は、一時は富山城主に返り咲いたが後に信長により追放され、庶流の神保氏張が後に佐々氏、次いで徳川氏に仕えている。
長職は神通川以東を失ったが、本領の射水・婦負二郡の支配権は従前通り認められた。能登畠山氏との友好関係によって上杉氏を牽制したためとの説もある。しかし、永禄9年（1566年）に能登畠山氏に内紛が起こり、畠山義綱父子が重臣により追放されると、長職は上杉謙信と共同して義綱の能登復帰作戦を支援する。永禄11年（1568年）、椎名康胤が上杉氏を離反して武田・一向一揆方に立つと、神保家中は嫡子・神保長住を仰ぐ家老・寺島職定を中心とする反上杉派が台頭し、親上杉派の家老・小島職鎮と対立した。長職は長住一派を弾圧し、それまで親密だった一向一揆への攻撃を開始したため家中は分裂し内戦状態となった。上杉家の介入によって反上杉派は壊滅したが、神保家の上杉氏への従属を深める結果となった。長住は出奔して後に京で織田信長に仕えた。一方で長職は中央の動きも注視しており、上洛前の織田信長とも誼を通じていた。永禄13年（1570年）1月、足利義昭を擁し上洛を果たした信長が全国の有力諸大名に上洛命令を発すると、長職はこれに名代を派遣している。しかしこの頃神保氏は内紛の結果疲弊し、家中の実権は次第に親上杉派の小島職鎮に牛耳られていた。長職は剃髪して宗昌と号し、家督を次男神保長城に譲っていたが、元亀2年（1571年）末頃、再び立場を一変させ、一向一揆と和睦し、反上杉の立場をとった。その後、長職は史料に表れず程なく死去したものと思われる。
高校卒業後の進路については2012年春（高3初め）までにはアメリカ留学を決意。周囲には反対の声もあったが、同年夏にはNBA経験のある田臥勇太もアメリカ行きを後押し。家族も田臥の言葉を信じてアメリカ留学が決定した。2013年3月に高校を卒業した後、9月からコネチカット州のセント・トーマス・モア・スクール（プレップスクール、大学進学のための準備学校）に通い、NCAA1部の大学への入学を目指した。スクールでプレーした2013-14レギュラーシーズンは、1試合平均13得点、6リバウンドを記録。ナショナルプレップチャンピオンシップ準優勝に貢献し、オールファーストチームに選出された。シーズン中の2014年2月、NCAA1部のジョージ・ワシントン大学へ進学することが決定。日本生まれの選手がNCAA Iの大学でプレーするのは渡邊で4人目。2014年11月14日、グランブリング州立大戦でNCAAデビューを果たし、20分間の出場で8得点7リバウンド1ブロックを記録。年末にハワイで行われたダイヤモンドヘッド・クラシックの決勝では、逆転スリーポイントなど10得点4リバウンドの活躍で、全米ランク11位のウィチタ大を破っての優勝に貢献した。2015年3月7日、レギュラーシーズン最終戦のマサチューセッツ大戦でシーズンハイの21得点を挙げた。シーズン中、頭角を現すにつれ注目度が高まり、ワシントン・ポスト、ニューヨーク・タイムズなどのメディアに渡邊の特集記事が掲載された。チームはNCAAトーナメントには進出できなかったが、3月17日に開幕したナショナル・インビテーション・トーナメント（全米招待トーナメント、NIT）に出場し、1回戦で、ACCに属する強豪校のピッツバーグ大に対し、33年ぶりとなる歴史的勝利をおさめる。2回戦でテンプル大に敗れ、1年目のシーズンが終了した。シーズン35試合に出場し、平均7.4得点、3.5リバウンド。大学2年の2015-16シーズンも主力として試合に出場し、対戦相手校のエース級とマッチアップする場面もあった。レギュラーシーズン最終戦のデビッドソン大戦でキャリアハイの22得点。ジョージ・ワシントン大はNCAAトーナメントには進出できなかったが、NITで優勝した。決勝のヴァルパライソ大戦での渡邊の成績は33分出場、6得点、4リバウンド、4ブロック。シーズン38試合に出場し、8.4得点、4.0リバウンド、1.4アシスト、1.1ブロック。8月、ジョージ・ワシントン大学の一員として、日本代表（3試合）や琉球ゴールデンキングス（1試合）との親善試合に出場した。大学3年目の2016-17シーズンは序盤にふくらはぎを負傷し7試合欠場したが、主力として常に相手チームのエースとのマッチアップを担った。NCAAトーナメントには出場できなかったが、A-10カンファレンスのオール・ディフェンシブ・チームに選出された。大学最終年の2017-18シーズンはジョージ・ワシントン大の3人のキャプテンのうちの1人に就任した。12月のモーガン州大、テンプル大との2試合で平均21.5得点、6.5リバウンド、3.5スティール、2.5ブロックをマークし、A-10カンファレンスのプレイヤー・オブ・ザ・ウィークを受賞した。2月7日のラサール大戦で自己最多を更新する29得点。大学最後のホームゲーム、2月28日のフォーダム大戦でさらに自己最多を更新する31得点を記録した。チームのエースとして、得点、リバウンド、ブロック数はチーム1位で、A-10カンファレンス最高クラスの2ウェイプレーヤーと評された。A10カンファレンスのディフェンシブ・プレイヤー・オブ・ザ・イヤーをジョージ・ワシントン大の選手として初めて受賞。また、オールディフェンシブチーム（2シーズン連続）およびオールサードチームにも選出された。