魏晋の時代には三山と呼ばれ、唐代には三山浦、明清時代には三山海口、青泥窪口と称した。1880年代に清朝が大連湾北岸に砲台を築き、都市が形成され始めた。日清戦争後の1898年、三国干渉の代償として、清から関東州（大連、旅順など）を租借したロシアが、東清鉄道の終着駅を設け「ダルニー」（Дальний; 「遠い」）と名づけた。旅順にある艦隊と要塞の物資をまとめるため、また貿易の拠点として、港の整備とパリをモデルにした都市づくりが始まった。しかし、1904年に勃発した日露戦争により、同年5月末には日本軍が無血入城を果たし、戦後の1905年ポーツマス条約により日本に租借権が譲渡された。日本は古地図に見られる中国語の地名「大連湾」からとった「大連」を都市名として採用した。これはロシア名のダルニーと発音が似ていることにもよる。ロシアの租借地時代は、現在の大連駅から東側の区割りとごく一部の建築物ができた状態であった。日本は、大連を貿易都市として発展させるため、関東都督府と南満州鉄道にインフラの整備を続行させ、道路のアスファルト舗装や、レンガなど不燃建築物が立ち並ぶ町並みができあがる。日本の租借地時代の昭和初期には現在の大連駅とその駅前一帯が整備され、旧市街がほぼ現在の形になる。また、埠頭・防波堤等の築港工事を進めたことから、1930年代には大連港が満州国貿易総額の約75%を担う貿易港ともなった。この時代の大連に関しては清岡卓行の芥川賞を受賞した『アカシヤの大連』をはじめとする一連の作品群、鮎川哲也の「ペトロフ事件」などにおいて描かれていることでも有名である。また、司馬遼太郎の『坂の上の雲』は、日露戦争時代の大連・旅順が舞台であり、同作がNHKのスペシャルドラマとなった際には同地でもそれぞれロケが行われた。第二次世界大戦末期の1945年、日ソ中立条約破棄によりソ連赤軍が対日参戦。このときにソ連は大連を占拠した。同年9月に戦争終結後も、同年8月に結ばれた中ソ友好同盟条約に基づきソ連は大連港を旅順港や南満州鉄道と共に引き続き管理下においた。このために、国共内戦下でも国民党側の支配下に入ることはなかった。中華人民共和国に返還されるのは1951年のことである。1951年に旅順市を合併し、旅大と改称したが、1981年に元の大連に名前を戻している。1990年代の改革開放経済のもと、中国東北部の中でも特に目覚しい経済的発展を遂げている。
信濃国高遠城下（現在の長野県伊那市高遠町）に高遠藩士の父・勝三郎、母・多計の子として生まれる。幼名は八弥。父は20俵2人扶持の低禄の下級武士のため極端な貧乏暮らしだった（事実上1年4人で分け与えなけければならないこととなっている）。1861年（文久1年）から藩校進徳館で学び、1867年（慶応3年）に江戸へ出府。ジョン万次郎に英語を学ぶ。万次郎が欧米に出張すると、1869年（明治2年）に築地に転居したアメリカ合衆国長老教会の宣教師カラゾルスから英語を学ぶ。京都へも遊学して蘭学などを学ぶ。同年には藩の貢進生として大学南校（のちの東京大学）に進学する。1872年（明治5年）には文部省へ出仕し、のちに工部省へ移る。1874年（明治7年）に再び文部省にもどって愛知師範学校（現在の愛知教育大学）校長となる。1875年（明治8年）には師範学校教育調査のために、神津専三郎、高嶺秀夫とアメリカ合衆国へ留学、マサチューセッツ州ブリッジウォーター師範学校で学び、同時にグラハム・ベルから視話術を、ルーサー・メーソンから音楽教育を学ぶ。同年10月にはハーバード大学で理化学を学び、地質研究なども行う。聾唖教育も研究する。1878年（明治11年）5月に帰国。1879年（明治12年）3月には東京師範学校（現在の筑波大学）の校長となり、音楽取調掛に任命されるとメーソンを招く。来日したメーソンと協力して西洋音楽を日本へ移植し、『小學唱歌集』を編纂。田中不二麿が創設した体操伝習所の主幹に命じられる。1886年（明治19年）3月、文部省編輯局長に就任。1888年（明治21年）には東京音楽学校（現在の東京芸術大学音楽学部）、東京盲唖学校（現在の筑波大学附属視覚特別支援学校）の校長となり、国家教育社を創設して忠君愛国主義の国家教育を主張、教育勅語の普及にも努める。内閣制度が発足し、1885年（明治18年）に森有礼が文部大臣に就任すると、教科書の編纂などに務める。1890年（明治23年）に国立教育社を組織して国家主義教育の実施を唱導し、翌年に文部省を非職となってからは更に国立教育運動に力を注いだ。その後、1892年（明治25年）8月に国立教育期成同盟を結成して小学校教育費国庫補助運動を開始する。1894年（明治27年）の日清戦争後に日本が台湾を領有すると、台湾へ渡り台湾総督府民政局学務部長心得に就任、統治教育の先頭に立っている。1895年（明治28年）6月に、台北北部の芝山巌（しざんがん）に小学校「芝山巌学堂」を設立。翌1896年（明治29年）1月、伊沢が帰国中に、日本に抵抗する武装勢力に同校が襲撃され、6名の教員が殺害される事件が発生した（芝山巌事件）。1897年（明治30年）には貴族院勅選議員。晩年は高等教育会議議員を務めたほか、吃音矯正事業に務め、1903年に楽石社を創設。1917年、脳出血のため67歳で死去。墓所は雑司ヶ谷墓地。祝日大祭日唱歌「紀元節」や唱歌「皇御国」「来たれや来たれ（皇国の守）」などを作曲。『生物原始論』を翻訳し、進化論を紹介する。著作に『教育学』、『小学唱歌』、『学校管理法』ほか。