1963年（昭和38年）に綾歌町公民館図書室として開室した。1978年（昭和53年）に綾歌町農村環境改善センターが完成し、図書室は同センターへ移転した。一方、町民の間では「図書館」の設置に向けて1990年代から活発な取り組みを行っていた。香川県では当時、小豆郡土庄町や大川郡志度町でも図書館設置を目指す住民運動が展開されており、2000年（平成12年）時点で開館に向けて行政が動き出していた。綾歌町では、町議会議員の刎田鉱造が中心となって図書館設立運動を続け、図書館コンサルタントの菅原峻を招いた講演会を開催した。菅原の講演会には図書館設置を目指す全ての団体が香川県各地から参加したという。また刎田議員は2001年（平成13年）1月16日・17日に日本図書館協会主催の「議員のための図書館づくりセミナー」に参加して図書館設置についての知見を深めた。町民の運動を受け、2000年（平成12年）に図書館建設検討委員会が発足した。検討委員会は報告書をまとめ綾歌町長に提出したが、綾歌町は合併問題を抱えていたこともあり、図書館の設置に向けた行政側の動きはなかった。図書館設置運動が思うように進まない中でも、刎田議員は運動の前進のために尽力した。2002年（平成14年）度の蔵書数は15,883冊、貸出冊数は9,585冊であった。
綾歌・飯山両図書館の運営が一部業務委託されているのに対し、中央図書館は丸亀市の直営が維持されている。これは中央図書館が丸亀市立図書館の中核を担う図書館としてレファレンスサービスや香川県立図書館との相互貸借の拠点としての役割を果たしているためであり、今後も丸亀市による直営が維持される見通しである。また、綾歌・飯山両図書館に対して指導的立場にある。一方、清掃業務や空調管理などの施設の管理については、MIMOCAと建物を共有している都合でMIMOCAの指定管理者であるミモカ財団が管理を委託した業者に任せており、管理にかかる費用は建物の中で図書館が占める割合である23%分を中央図書館が負担している。2016年（平成28年）現在、ミモカ財団と中央図書館が同じ業者と別個に契約を結んでいる状態であり、手続きが煩雑であるため、図書館の施設管理業務にのみ指定管理者制度の導入が検討されている。
建物は谷口吉生の設計で、施工は鹿島建設四国営業所による。図書館と美術館（MIMOCA）を併設することによって多くの人が立ち寄る施設とすることが企図されたもので、実際に休日には多くの来館者で賑わっている。1998年（平成10年）には公共建築百選に選定された。鉄筋コンクリート構造地上4階地下1階建てで、図書館部分は地上1階地下1階である。建物はMIMOCAとの共用であるが、南側に図書館専用の入り口が設置されている。またMIMOCA2階には「美術図書室」があるが、これは丸亀市立図書館の管理下にはない。図書館入り口から風除室を抜けると大理石の床の「コントロールセンター」があり、カウンターや閲覧テーブルが置かれている。また入り口正面のシルクスクリーンは猪熊弦一郎が描いた数多くの動物で埋め尽くされている。コントロールセンターを抜けるとカーペット敷きになり、向かって右手が児童図書コーナー、左手が新聞・雑誌コーナーで、新聞・雑誌コーナーの奥に一般閲覧室がある。児童図書コーナーは、児童の身長に合わせて背の低い書架や上端の高さを抑えた窓を採用し、児童が騒いでも声を吸収できるように天井に吸音板とアルミニウム製のルーバーを設置している。新聞・雑誌架はスチール製で木製フレームに縁取られている。新聞・雑誌コーナーの真上がMIMOCAの美術図書室で、コーナー上部のガラスブロックから美術図書室の様子が垣間見える。一般閲覧室の書架は新聞・雑誌コーナーの端から反対側の壁面まで連続し、背の高い書架同士で小スペースを形成する。
ロシアの探検家グリゴリー・ポターニンとウラジミール・オーブルチェフはエジン河下流域に古代都市があったとの噂を耳にした。この噂は科学アカデミー・アジア博物館に刺激を与え、ピョートル・コズロフを隊長とする探検隊が結成された。1907年から1909年の中央アジア探検でコズロフはカラ・ホト都市遺跡の歴史的発見を成し遂げた。現地のタングート領主を歓待や蓄音機のプレゼントなどで懐柔し、遺跡発掘の許可を得ると1908年5月1日にカラ・ホト遺跡に入り、2,000以上の西夏文書を発見した。コズロフは10箱分の古文書や仏教遺物をサンクトペテルブルクに送り、1909年、残りを送った。6月には書物と木版画が城壁から400メートル西方の仏塔から発見された。オーレル・スタイン卿は1917年の第三次中央アジア探検隊でカラ・ホトを8日間調査し、その成果は報告書『中央アジア踏査記』にまとめられた。1925年にはラングドン・ウォーナーがカラ・ホトを訪ねている。フォルケ・ベリイマンは1927年にカラ・ホトに旅し、1年半現地に滞在して監視塔や砦跡を調査、多数の木版画を発見し、カラ・ホトとエジン河の地図を製作した。また、コズロフとスタインの調査はいい加減でありその調査文書に一部誤りがあると指摘した。スヴェン・ヘディン率いるスウェーデンと中国の合同調査隊は1927年から1931年の間、遺跡の考古学的調査を行った。1935年にはジョン・デフランシスが遺跡を訪れている。1983年から1984年の間、中国、内蒙古考古研究所によるさらなる発掘調査が行われ、3,000を超える古文書が見付かっている。この発掘調査では書籍類に加えて、建材、日用品、生産設備、宗教美術が発掘された。衛星写真でもカラ・ホト遺跡が現在も良好に保存されていることが分かっている。