美術館の敷地にはかつて法幢院郭（ほうどういんくるわ）があった。周囲の自然環境に合わせて掘り下げた地盤に建物がある。建物は鉄筋2階建であり、延床面積は約1,300m²。建物の設計は長野市立博物館や松本市美術館も手掛けた宮本忠長建築設計事務所。第8回甍賞 銀賞（1998年）、第6回公共建築賞 優秀賞（1998年）を受賞している。総事業費は6億5000万円。美術館入口近くの壁面と歩道部分には、陶芸家の會田雄亮が製作した陶板が敷き詰められている。屋外庭園には芝生が張られており、屋外コンサートを開くことも可能である。壁面は打ち放しコンクリート、屋根は北側半分が瓦屋根、南側半分が銅板葺きであり、建物は地形に沿って弧を描いている。曲線を描く瓦屋根は全国瓦屋根コンクールで銀賞を受賞している。ロビーは広い吹き抜けを持ち、床から天井までがガラス張りとなっている。このロビーからは高遠湖（ダム湖）や三峰川に架かる白山橋が一望できる。ロビーではコンサートができるように設計されており、これは初代東京音楽学校校長の伊沢修二の遺志を受け継いだものだとされることもある。館内には2つの展示室、ロビー、喫茶コーナー、2つの収蔵庫、学芸資料室、研修室などがある。2階の研修室には90インチの大型ハイビジョンが設置されており、ビデオによって美術品の鑑賞ができる。学芸資料室では美術史家の谷信一の研究資料を閲覧できる。
展示室は2室からなる。第一展示室は原田政雄が収集した作品（原田コレクション）であり、木内克、福沢一郎、平櫛田中、土方久功、熊谷守一などの作品を展示している。第二展示室は高遠ゆかりの作家の作品であり、中村不折、池上秀畝、江崎孝坪などの作品を展示している。常設展のほかに、年3-4回の頻度で企画展・特別展などを開催している。平山郁夫の特別展は毎年恒例である。ミュージアムショップでは、展覧会目録、ポストカード、キーホルダーなどを販売している。
万字地区は万字炭鉱最盛期の1950年代には5000人以上の人口があり、山間部ながら一つの市街地を形成していたが、炭鉱閉山後は人口が激減。2011年をもって地区から商店がなくなり、行商のみとなっている。万字英町の岩見沢市万字診療所も週二回のみの開業となり、巡回診療が行われている。2013年には人口が100人を割り込んだ。住民の高齢化が著しく進んでおり、限界集落になっているため、岩見沢市やボランティアが除雪などの援助を行っている。2016年現在77人の人口がある。うち万字巴町は1世帯のみ。万字旭町・万字西原町・万字錦町・万字二見町・西万字は人口0人となっており、炭鉱跡から夕張市方面の北海道道38号夕張岩見沢線沿いには全く民家はない。万字地区全体の人口が80人足らずとなった2016年現在でも町内会は「万字炭山町内会」と「万字市街町内会」が併存しており、元炭鉱従業員とその家族・遺族が「万字炭山町内会」、開拓入植農家や元商店主などが「万字市街町内会」を構成している。「万字炭山町内会」が万字英町鎮座の山神社（万字錦町にあった万字炭山神社を遷座）を、「万字市街町内会」が万字幸町鎮座の八万神社をそれぞれ管理している。いずれも神主不在の無人の社で社家もなく、総代を置いて町内会が運営にあたっている。無人となった町丁も町名は廃止されておらず、郵便番号も割り振られている。国鉄万字線は1985年（昭和60年）3月31日限りで廃線となった。旧万字駅舎が万字仲町簡易郵便局の局舎として再利用されているが、局員は局長1人である。万字線廃止後北海道中央バスが北海道中央バス岩見沢ターミナル（岩見沢駅）から万字簡易郵便局（現・万字バス待合所）間のバス路線を運行していたが、2008年3月をもって万字地区からは撤退した。以後岩見沢市が岩見沢市営バス万字線（無料）を運行している。万字炭山の周辺は森林公園（万字炭山森林公園）として整備・管理されている。選別場などのコンクリート構造物が施設周辺に老朽化しつつも現存しているほか、夕張市方面の北海道道38号夕張岩見沢線沿いにはかつての高圧送電線の施設などが残っている。かつて湯治場を兼ねた従業員寮だった施設はその後も温泉として存続、1983年に温泉宿「万字温泉奥万字王国」が開業したが、2006年に廃業。2009年9月には建物解体、更地となっている。万字地区の山中からは現在も鉱泉が湧出しており、万字寿町には万字ポンネベツ冷泉利用組合によって維持管理されている温泉スタンド「ポンネベツ冷泉ポンネ湯」がある。万字英町に岩見沢市役所美流渡出張所万字連絡所（万字交通センター）が置かれており、市職員が常駐している。栗沢町立万字中学校（1947年（昭和22年）5月1日開校）は1980年（昭和55年）3月31日閉校となり、間もなく校舎は解体されたが、跡地には校門の門柱や校庭の設備などが残っている。栗沢町立万字小学校（1906年（明治39年）9月21日開校）は1990年（平成2年）3月25日に閉校となった。跡地には記念碑が建てられたが、校舎も残され、備品や図書室の蔵書などがそのままになっていたが、廃墟化が進行したため、2010年（平成22年）8月から10月にかけて解体されている。小学校と同じ場所に栗沢町立万字保育所もあったが閉園。これも解体されている。2代目英（はなぶさ）橋等が朽ちつつも残されているほか、当時の炭鉱住宅は個人に払い下げられ、個人住宅となっている。社寺は移転したものもあるが存続している。万字西原町や西万字など無人となった地区にはほとんど道路が通じておらず、既に自然に還っている場所もある。