昭和35年（1960年）頃から、砂利置き場であった横浜駅西口の本格的な大規模開発がはじまり、昭和45年（1970年）頃には、横浜駅エリアが横浜最大の繁華街としての地位を確立した。それにともない、伊勢佐木町の繁華街としての機能は徐々に低下し、現在では横浜駅エリアに大きく水をあけられている。
明治時代から商店などが集中したため、現在でも明治創業の店舗が残っている。明治6年（1873年）に興行場が開かれ、大相撲も催される興行街となる。明治15年（1882年）に遊郭が高島町から真金町へ再々移転すると、関内から遊郭への通り道となり、伊勢佐木町通りを中心に繁華街へ発展。明治44年（1911年）にはドイツ人貿易商・ヴェルダーマンが日本最初の洋画封切館であるオデヲン座を開館、大正初期までには東京・浅草や大阪・千日前と並ぶ大繁華街となり、「ザキブラ」「イセブラ」なる言葉も生まれた。関東大震災で大被害を受けたが復興は早く、昭和に入ってなおも大いに栄えるが、太平洋戦争で被災、更に戦後は占領軍によって接収される。昭和26年（1951年）返還が順次開始され、復興が本格化したのは昭和30年代に入ってからである。昭和53年（1978年）からは恒久的なかたちでの歩行者天国が実施されている。また近年では、ミュージシャンのゆずがアマチュア時代にストリートライブをよく行っていた場所として知られている。
元々は入江を埋めた吉田新田の北一つ目沼地。沼地は寛文11年（1671年）までには埋め立てられ、耕地となっていた。明治2年（1869年）には当地付近に港崎遊郭が移転し、吉原町が起立、明治5年（1872年）にはその遊郭も高島町に再移転し、区画を整理して明治7年（1874年）5月20日に伊勢佐木町が起立した。現在の読みは「いせざきちょう」であるが、当初は「いせさぎちょう」と呼ばれた。大区小区制では第1大区4小区に属し、明治11年（1878年）横浜区に編入され、明治22年（1889年）横浜市制施行で同市の1町となる。昭和3年（1928年）松ヶ枝町、賑町、長島町の全域と長者町、久方町、末吉町の各一部を編入して南吉田橋際まで町域が拡大した。
『日本書紀』巻第十四によると、雄略天皇8年(464年)、身狭村主青（むさ の すぐり あお）・檜隈民使博徳（ひのくま の たみのつかい はかとこ）は呉国（くれのくに、当時の中国南朝の宋）に派遣された。派遣の目的は、天皇が即位してから新羅が苞苴（みつき）を8年間奉らなかったことを責めたものであった。これには前年の吉備上道臣田狭（きびのかみつきみ の おみ たさ）の叛乱も影響していたと思われる。新羅国王は、高麗（こま、高句麗）に救援を頼み、高麗兵が100人新羅防衛のために送られてきた。しばらくして、高麗の兵士1名が国に帰り、ある新羅人を典馬（馬飼）にした。そして、こっそりと「汝（いまし）の国は、吾（わ）が国の為に破られむこと（吾が土に成ること）久（ひさ）にあらじ」要は、新羅は高麗領にまもなくなるであろうと言った。これを聞いた典馬は腹痛のふりをして、わざと一行から遅れて新羅に逃げ込んで、ことの次第を語った。新羅王は国中の人にこのように告げた。「人、家内（いえのうち）に養ふ鶏（とり）の雄者（おとり）を殺せ」これは「鶏」を表す新羅語「tark」と高句麗語の「tar」「tak」（軍隊・軍人）をかけたものであり、また高句麗人の頭のかたちが二羽の鳥のようであったからだとも言う。かくして新羅国内の高麗人は虐殺された。だがしかし、一名が隙を突いて脱出し、国中に事態をつぶさに伝えた。高麗王は軍兵を起こして、筑足流城（つくそくろのさし、達句城、現在の大邱）に集め、歌や舞いをして音楽を楽しんだ（心理的な圧迫を加えた）。これを聞いた新羅王は高麗軍が国内に侵入してきたことに気づき、任那（加羅）の王のもとに使いを派遣して、「我が国は吊り下げられた旗のようである。国は累卵の危うきにあり、命の長さや短さをはかることができません」と言って、任那日本府に援軍を頼んだ。任那王は斑鳩のほかに、吉備臣小梨（きび の おみ おなし）、難波吉士赤目子（なにわの きし あかめこ）らを推薦した。日本府の軍は、未だ到着しておらず、高麗の武将たちは膳臣らと接触していないのに、みなこの軍隊を恐れた。膳臣らは急襲ができるように備えた。そして、十余日たったころを見計らって、夜のうちに地下道を造り、輜重（くるまにもち、軍の荷物）を送り、奇兵（かくれたるつわもの）を設置した。そして、そのあけぼの（夜明けごろ）に撤退し、高麗軍に膳臣らが遁走したと思い込ませ、高麗軍が追撃して進軍してきたのを、奇兵で縦に歩騎で挟んで、大打撃を与えた、という。高麗と新羅間の怨念はこのときより始まった、という。そして膳臣は、「お前の国はとても弱いのに、強い国に当たっている。もし官軍が救わなかったら、必ず機会につけこまれるだろう。そして他国のものになるのは、この役（えだち＝戦役）でもう少しのところであった。今より以後、天朝に背くことのないように」と言った、という。