旧幕府軍では大鳥圭介が五稜郭北方の進入路にあたる亀田新道や桔梗野などに伝習歩兵隊、遊撃隊、陸軍隊などを配置して指揮を執っていた。5月11日早暁、新政府軍4,000名が大挙して押し寄せてきた。大鳥は東西を奔走し、自ら大砲を撃って力戦したが、夜には五稜郭に撤退した。また、旧幕府軍が五稜郭の北に急造した四稜郭では、松岡四郎次郎率いる一聯隊が防戦していたが、五稜郭との中間に位置する権現台場を新政府軍に占領されると、退路を断たれることを恐れ、五稜郭へ敗走した。
旧幕府海軍は、自らのミスから新政府軍に千代田形を奪われていたが、5月3日夜、遊軍隊のスパイ・斎藤順三郎により弁天台場の大砲が使用不能にされ、急遽、箱館湾に綱を敷設したものの、5月6日に新政府軍により切断され、軍艦を箱館湾に進出される。5月7日の海戦で回天が蒸気機関を破壊され、意図的に浅瀬に乗り上げ、浮き砲台となる。5月11日の海戦では一隻残った蟠竜が新政府軍の朝陽を撃沈し、旧幕府軍の士気は大いに高まったが、砲弾を射ちつくした蟠竜も座礁の上、乗組員は上陸して弁天台場に合流した。
4月28日に青森口総督・清水谷公考が江差から上陸し、5月1日以降、松前・木古内から進軍した東下軍と二股から進軍した南下軍が有川付近に集結、箱館攻撃の態勢を整えた。敗色濃厚となったため、5月2日、ブリュネらフランス軍人はフランス船で箱館を脱出した。旧幕府軍は、大鳥圭介らが七重浜の新政府軍を数度に渡って襲撃(夜襲)したが、5月8日に榎本自ら出陣した大川（現・七飯町）への夜襲は失敗に終わっている。5月11日、新政府軍は箱館総攻撃を開始、海陸両方から箱館に迫った。
父と共にはじめは、鎌倉幕府の執権北条得宗家、および六波羅探題に仕えていた。後に後醍醐天皇に呼応して反鎌倉幕府側として決起、のち足利尊氏に仕えて各地を転戦した武将であり、いわゆる｢婆娑羅大名｣の一人として知られる。延元元年/建武3年（1336年）の多々良浜の戦いでは菊池武敏、同年の京都での新田義貞、延元3年/暦応元年（1338年）の北畠顕家との青野原の戦い、さらに新田義貞の弟・脇屋義助との合戦など、北朝（足利氏）側として南朝方との多くの合戦に参加している。『太平記』によれば、頼遠が地元美濃で戦うことを主張して始まった青野原の戦いにおいて、顕家率いる奥州勢の50万騎とも言われた大軍（数字は太平記にありがちな誇張ともされる）を相手に足利方軍の他部隊が総崩れになる中で、頼遠は精兵1000騎を率いて鬼神のごとく奮戦した、とされる。しかしこの戦いで足利方は敗戦し、頼遠も一時行方不明となった（のち帰還）。この際の北畠軍の疲弊は大きく、後の進路転換・敗北の原因になったともされる。同作中では頼遠の武名は高く評価されている。延元4年/暦応2年（1339年）、父の死により家督を継いで土岐氏惣領となり、美濃守護に就任する。同年に本拠地を土岐郡から厚見郡に移動、守護所を長森城に定める。その後も各地を転戦して武功を挙げたが、自身の高名をいいことに奢り高ぶることも少なくなかった。興国3年/康永元年（1342年）9月6日、笠懸の帰りに行き会った光厳上皇の牛車に対して、酒に酔った勢いに任せて「院と言うか。犬というか。犬ならば射ておけ」と罵って牛車を蹴倒す（矢を射たとも）という狼藉行為を行った。これを知った尊氏の弟・足利直義は激怒して頼遠逮捕を命じる。頼遠は一度は美濃に戻って謀反を計画するものの失敗、夢窓疎石のいる臨川寺に逃れ助命嘆願をした。また各所から助命嘆願が相次いだため足利直義は「国師（夢窓）の口添えならば頼遠は厳罰とするが土岐子孫は許す」とした。頼遠は臨川寺を囲んでいた幕府軍に捕らえられ、侍所頭細川頼氏に渡され12月1日に京都六条河原にて斬首された。婆娑羅大名の諸将には多かれ少なかれ、朝廷などの旧来の権威を軽んじる風潮があったが、直義にとって光厳上皇は兄・尊氏の征夷大将軍任命とそれを行った光明天皇の即位に対する大義名分を保障する権威（治天の君）であり、その権威を揺るがす行為を容認することはすなわち室町幕府の正統性そのものを否定することにもつながりかねない事と考えていた、とされる。ゆえに、兄と幕府の正統性を守るためにも光厳上皇の権威の保持を、功臣の生命よりも重んじたとされている。高名な禅僧である夢窓の言によれば、頼遠は周囲からその軍才を認められており、処刑される直前まで助命嘆願の声が上がり続けていたとされる。実際、9月の事件であるにも拘らず、12月まで処罰が遅れたことは同言を裏付けるものであるとする見解がある。その多くの戦功が認められていたからこそ、本来なら断絶するはずの土岐氏は存続を許され、土岐氏の家督は甥の土岐頼康に継承された、とする説である。頼遠の息子たちは厚見郡の隣の本巣郡に移り土着したと伝わる。武将としての活躍が多いが文化人としての側面もあり、『新千載和歌集』・『新拾遺和歌集』・『新後拾遺和歌集』に和歌が残されている。また、父と同じく寺社の開基に取り組み、夢窓疎石を美濃に招いて加茂郡に妙楽寺・東光寺を創建した。法名は乗船寺覚然大悟。岐阜県岐阜市手力雄神社にある宝篋印塔が墓とされている。