1965年（昭和40年代）以降、米沢市では市庁舎、図書館などの公共機能が中心市街地から郊外（金池地区）に移転した。それに付随して、次第に商業施設も同地区に集積し始め、中心市街地の空洞化が進行した。こうしたことから、市は2009年度に策定した都市再生整備計画において、新図書館・市民ギャラリー整備事業を、中心市街地の再整備における中核的事業の一つとして位置づけ、更に市は2011年度に中心市街地の賑わいの再生を目指す為、中心市街地活性化基本計画を策定。その一つとして、新図書館と新市民ギャラリーを市街地に再整備する方針を盛り込んだ。本計画は中心市街地の再生のみならず、市民の文化生活の質を高め、「文化が薫るまち」を実現させることも目的とした。当初、ナセBAは、米沢ゆかりの直江兼続、上杉景勝、前田慶次など武将をテーマにした観光施設「戦国の杜」などが入っていた商業ビル「ポポロ館（1991年6月までジャスコ米沢店が核テナントとして営業。詳細は過去に存在したジャスコの店舗#山形県を参照）」の跡地に建設を予定していたが、テナントの立ち退きが難航したため、西隣のまちの広場（米沢ファミリーデパート）跡地に建設地が変更となった。ナセBAは2013年9月に着工、2015年12月での完成、2016年4月1日の開館を目指し工事を進めた。しかし、2014年 - 2015年にかけての大雪や全国的な建設労働者不足が影響し、工期が2016年3月に延期され、予定より3ヵ月遅れとなる同年7月1日に開館した。総事業費は約28億円。開館1年目の9ヶ月間の入館者は、図書館が約30万人、ギャラリーが約6万3千人を数えた。また、市の実施したナセBA近隣における歩行者・自転車の通行量調査では、双方の数値がナセBA開館以前の調査時の数値より上回った。この調査結果を受け、市ではナセBAの整備が歩行者らの減少に歯止めをかけ、まちなかのにぎわいづくりに効果があったとみている。
米沢市の市街地に位置し、市民ギャラリーと図書館を併設した複合施設として開館した。建物は5階建てで、1階がよねざわ市民ギャラリー、2階が市立米沢図書館、3階～5階は建物の壁を利用した壁面書庫や貴重書庫とした。米沢は年間累積積雪深が10ｍに達することもある特別豪雪地帯であることを踏まえ、設計を手掛けた山下設計は、冬でも明るく暖かで快適な市民の居場所「本の広場」を実現すること、さらに、中心部に古くから残る住宅的スケールの町並みに呼応する複合施設の具現化に主眼を置き、開放的な環境の市民ギャラリーを1階、静かな環境の図書館を2階に配置することを基本コンセプトとして据えた。また外壁には、特殊加工した市有林のスギの間伐材300本を使用。これによって、断熱効果を高めるとともに、自然に溶け込んだ風景の一つになるような外観を目指した。このほか、建物の外周には"こまや"と呼ばれる広い軒下空間を整備した。2017年度グッドデザイン賞と第60回（2019年）BCS賞を受賞している。愛称は、2016年3月15日 - 4月15日の1ヵ月間、一般公募され、候補1434点（1人3点まで応募可能）の中から選ばれた。応募総数は869人で、山形県内（米沢市内を含む）からよりも県外からの応募が多かった。愛称は最優秀賞を受賞した「naseBA」を基に決定した。これは米沢藩9代藩主・上杉鷹山公の名言、「なせばなる」に由来し、"BA"はBOOK（本=図書館）とART（芸術=市民ギャラリー）の頭文字を組み合わせたもの。優秀賞には「たねーる」、「学美の森」（まなびのもり）、「YOの音」（よのおと）が選ばれた。
2004-2005シーズン、NHK杯で初優勝。GPファイナルでは自身最高の2位に入る。しかし全日本選手権はSP1位だったが、足の怪我でフリーを棄権。それでも昨年優勝の実績により、世界選手権に3年連続で選出された。世界選手権のSPは5位につけたが、フリー演技では必須のアクセルジャンプを跳び忘れるなどで得点が伸びず、総合9位に沈んだ。2005-2006シーズンは中国杯とエリック・ボンパール杯でそれぞれ3位につけたものの、グランプリファイナル進出を逃してしまった。この時は「日本選手3人がグランプリファイナルで表彰台に上がりオリンピック出場枠が埋まったら?」と記者に質問された際、「引退する」と発言していたが、全日本選手権で3位に入ったことで、8年ぶり2回目の五輪出場となるトリノオリンピック代表選出が決まった。2005年12月、タラソワとの師弟関係を解消する。理由は、タラソワの新採点方式への対応が遅れていたので氷上で直接指導するニコライ・モロゾフについてステップのレベルを上げようとしたところ、タラソワとモロゾフが共同作業を拒んだため。その後、正式にモロゾフの指導を受けることにし、国内では佐藤久美子に師事することとなった。加えて、SPとフリーのプログラムを同時に変更した。フリーで使用していた「幻想即興曲」をSPに回し、フリーは2004年世界選手権優勝時にも使用した「トゥーランドット」にした。トリノ五輪女子シングル（SP：2月21日、FS：2月23日）では、SPでほぼノーミスの内容で3位につけ、荒川・サーシャ・コーエン・イリーナ・スルツカヤの上位3人全員が66点台に乗せ、1点差以内に並ぶ大接戦となった。フリーではループジャンプがダブルとなった以外は完璧の演技を披露、自己最高得点をたたきだして1位となり、会場の観衆からはスタンディングオベーションの賞賛を受けた。合計スコア191.34で総合優勝を果たし、アジア選手として五輪フィギュア史上初の金メダル（併せて同五輪日本代表選手として唯一のメダル）を獲得。ちなみに、五輪女子フィギュア史上最年長（24歳）の金メダル獲得でもあった。ショートプログラム (SP) とフリースケーティング（フリー）で合計7つあるスピンと2つあるスパイラルの全てでレベル4を獲得し、2つのステップはともに事実上最高難度であるレベル3を獲得した。このようにレベルの取りこぼしが1つもなかったのは出場選手中荒川ただ1人であり、また、ISUジャッジングシステム導入後のISU公式試合を通じても初めてのことであった。演技構成点で8点台をマークしたのも荒川ただ一人だった。   トリノ五輪後の世界選手権（3月19日 - 26日）にも選ばれていたが、調整不足のため出場を辞退した（代替選手は恩田美栄）。同選手権終了の次の日にあたる3月27日（月）、仙台市都心部の東二番丁通りにて凱旋パレードが実施され、沿道には約7万3000人の観衆が集まった。同年5月7日、記者会見でアマチュア競技引退とプロ転向を表明。会見の席で「今後は自身の演技力の向上やスケート界を広くサポートしていきたい」と語った。