2001年、前年の大不振やチーム内のゴタゴタにより多くのスポンサーを失い、一転してチームは資金難に陥るが、フェラーリエンジンを得たマシンで奮闘。入賞3回で4ポイントを獲得するが、カナダGPでアレジが入賞した際、高価な無線器具の付いたヘルメットを観客に投げ与えてしまったことにアラン・プロストが激怒。これがきっかけで2人の関係がこじれ、ドイツGP後にチームを離れ、ハインツ＝ハラルド・フレンツェン解雇でシートのあいていたジョーダンに移籍する。移籍後はベルギーGPで6位入賞するなど手堅い走りを見せ、ジョーダンとの2002年の契約延長を望んだが、チームがホンダエンジンの供給を巡り佐藤琢磨との契約を選んだため、最終戦日本GP直前にF1からの引退を表明。ラストレースはルーキーであるキミ・ライコネンのスピンに巻き込まれる形でクラッシュ、リタイアとなった。この年のアレジは、リタイアはこの最終戦のみでプロスト～ジョーダン移籍後全レースを完走していた。またこの時当時の歴代1位タイとなる17戦連続完走記録も樹立した（現在では歴代8位タイの記録）。
2000年、新天地で復活をかけるが、チーム状態は最悪。チームメイトのニック・ハイドフェルドとの同士撃ちをするなど成績は低迷。アレジの実力を持ってしても走らないマシンに手を焼きデビュー以来初のシーズンノーポイントに終わる。それでもアレジはチーム批判をすることなく残留を決意する。
1999年のチームメイトはペドロ・ディニス。アレジはエースとして期待がかかるが、マシンは向上せず低迷。フランスGPでは予選2位を獲得するが、決勝ではスピンでリタイア。レース後「ザウバーを出る決心をした」と異例の移籍表明。ペーター・ザウバーとの関係も悪化し、最悪のシーズンを送る。結果は6位2回のみ。6位入賞3回のディニスにもランキングで下回った。翌年はプロストで走る事になる。
1998年、ベネトンを離れたアレジはザウバーに移籍する。チームメイトはジョニー・ハーバート。アレジは安定した走りを見せ12回完走うち4回入賞。ベルギーGPでは3位表彰台を獲得。完全にチームメイトを凌駕し、実質ナンバーワンの座を奪った。オーストリアGPでは予選2位を獲得している。ハーバートとの不仲の噂もあったが、この年は9ポイントを獲得しチームのランキング6位に貢献。エースとして翌年も残留。
チームはスタッフの流出が止まらず、ブリアトーレも経営の熱意を失っていた事からチームは低迷を続ける。アレジはそれでも14戦完走うち10回入賞し表彰台は5回の成績を残したが、アレジの評価は上がる事なく、この年も放出の噂が絶えなかった。更にベルガーが引退表明、ブリアトーレもチームを去る事を表明したことから自身も移籍を決意する。イタリアGPでは自身2度目のポールポジションを記録するも、マクラーレンのデビッド・クルサードに逆転されて2位に終わった。
トラブルに苦しむベルガーに対し、アレジはコンスタントにポイントを稼ぎ11回入賞で表彰台は8回、フェラーリ時代を上回るシリーズ成績を残したが、マシン開発能力の低さを露呈した事や、チャンピオン争いに全く絡めないどころか、優勝すらできなかったため評価は急落した。マネージング・ディレクターであるフラビオ・ブリアトーレからの評価も下がり「（成績が原因で）1997年は1996年ほどの給料は出さない」と通告され、2年目は契約金が下げられてしまうどころか、シーズン中は頻繁に移籍の話題が出るほど立場は危うくなった。
留萌市立東光小学校で野球を始める。留萌市立留萌中学校ではその後、バレーボールの日本代表となった都沢凡夫と共に道内最強のチームの中心となって活躍した。当時の留萌地区のライバルにかつてエース北の富士を擁した留萌市立港南中学校や遠田誠治、桂本和夫、池田三男などを輩出した増毛町立増毛中学校、阿部雅司、黒滝将人などを輩出した小平町立小平中学校、丹羽政彦などを輩出した羽幌町立羽幌中学校、羽幌町立太陽中学校、大沢志意也などを輩出した天塩町立天塩中学校など前後に北海道大会を制する中学がひしめいていた。また、中学時代にはスキー部でも全国大会に出場している。北海高校入学時は「スキー部か野球部のどちらに入ろうか迷っていた」が、野球部の猛練習を見て入部を決意した。2年生から二塁手のレギュラーになり、チームは1964年夏の甲子園に進出するが、若松は病気欠場を余儀なくされる。しかし翌1965年夏の甲子園には、背番号14ながら三番打者、右翼手として出場。1回戦で佐賀商に敗退するがこの試合で4盗塁を決め、その俊足が注目される。卒業後は電電北海道に進む。北海道拓殖銀行、大昭和製紙北海道など強豪が多く、チーム自体は都市対抗に出場できなかったが、補強選手として1967年から4年連続都市対抗に出場。1967年の大会では拓銀に補強され、2回戦で本塁打を放つなど中心打者として活躍し、拓銀の準々決勝進出に貢献した。公称168cm（自称166cmだった）という小柄な体型で、プロ選手としてやっていく自信がなかったため、プロ入りには自他ともに消極的だった。しかし1970年秋に、翌シーズンからヤクルトアトムズを指揮することになった三原脩新監督の婿で、ヘッド兼打撃コーチの中西太が若松の素質に目を付け、プロ入りを勧めた。プロ入りを嫌って家を空けて逃げ回る若松のもとにはスカウトが7度も訪れ、最後には中西もスカウトに同行して、不安視していた父親と夫人を「体が小さくてもやれる」と説得したので、最終的に若松も夫人に「ダメだったら北海道に帰って二人で焼き鳥屋でもやろう」と言ってプロ入りを決意した。