伊那市立図書館
1871年(明治4年)の廃藩置県で進徳館は閉鎖された。
廃藩置県後には上屋敷のあった東高遠の人口や財力が急落し、商人が多かった西高遠の人口や財力が相対的に強まった。進徳館は東高遠にあったが、筑摩県は学校の設置場所を西高遠としたため、1872年(明治5年)に学制が公布されると東高遠と西高遠の間で対立が起こった。この騒動で進徳館文庫4,473冊は筑摩県預かりとなり、1874年(明治7年)1月には書籍が馬の背に乗せられて松本に送られた。進徳館文庫は筑摩県から長野県に引き継がれ、その後長野師範学校に移された。筑摩県に送られる際に使用中だった書籍2,071冊は高遠が「借用」している。
私立図書館
青年会や学校教員などが協力して、1908年(明治41年)5月3日には会費制の図書館活動である高遠図書館が創立された。この団体は文芸欄や新着図書欄を持つ「図書館月報」を発行し、巡回文庫(移動図書館)の規定を設けて町民に読書を奨励。この巡回文庫は20冊程度の図書を入れた箱を会員間で巡回させるものである。月1回の例会、年3回の大会を開催し、大会ではレコード鑑賞、講演、研究発表・弁論、運動会などを行った。1914年(大正3年)には活動が評価されて長野県知事表彰を受けている。同年から1915年(大正4年)には寄付金を募って書庫を建設した。書庫建設後には図書館の建設を模索したが、進徳図書館及美術館の構想が具体化したために凍結された。
長野県内務部学務課が行った「図書館文庫ニ関スル調査」によると、1916年時点で上伊那郡には30の図書館があり、その中で高遠図書館は佳良図書館に挙げられている。
1977年の第17回上伊那母親大会を契機として、伊那市の6か所に地域文庫が誕生した。1978年10月には教育委員会によってこれらの地域文庫に図書購入費が付けられ、地域文庫はさらに数を増やしている。伊那地域文庫連絡会は児童文学者・絵本作家・絵本画家などを招いた講演会を開催し、田島征三、いわむらかずお、古田足日、神沢利子などが伊那市で講演を行っている。名古屋市鶴舞中央図書館の見学ツアーなどを開催するなどする中で、1985年4月には「伊那図書館を考える会」に発展した。
1989年時点の長野県内17市の中で、市立図書館を持たないのは伊那市だけだった。伊那市は1989年に図書館建設基本計画を策定。建設地は上伊那図書館の用地が有力であり、上伊那図書館は用地を無償で貸与する意向を示していたが、敷地面積確保や文化財保護の観点から上伊那図書館の用地は困難となり、1991年12月には建設地を伊那市営中央駐車場の一角とすることを決定した。市営中央駐車場の東側半分に建物を建設し、西側半分は駐車場として使用している。
1992年10月31日に着工し、1993年12月28日に竣工。1994年1月25日に竣工式が行われ、1月31日には図書館より一足早く市民サービスコーナーを開設した。4月には貸出カードの受付を開始し、7月1日に伊那市立図書館が開館した。