天正18年（1590年）、徳川家康の江戸入府により、武家屋敷や寺社が建った。江戸時代には徳川光圀（水戸黄門）で有名な徳川御三家の一つ、水戸徳川家屋敷をはじめ、徳川家康の生母である於大の方が埋葬された伝通院、五代将軍徳川綱吉の生母桂昌院の願いにより創建された護国寺などの寺社が立ち並んだ。三代将軍徳川家光の乳母である春日局、大奥の奥女中であった音羽が土地を拝領した事から「春日」「音羽」など現在でも地名として使われる。白山御殿は、五代将軍徳川綱吉の将軍就任以前、館林候時代の屋敷で、もと白山神社の跡であったので「白山御殿」と言われた。綱吉の将軍職就任後は、御殿跡を幕府の薬草園とした。享保7年（1722年）、園内に“赤ひげ”で有名な小石川養生所が設けられた。また、享保20年（1735年）には青木昆陽が甘藷（サツマイモ）を試験栽培した。明治になってからは東京大学の付属植物園となった。大政奉還後は十五代将軍徳川慶喜が旧小日向（現在の春日地区）に居住した。江戸時代中期には区域の多くが市街化し、後期には中山道の街道筋に商店が建ち並ぶなど商業が活発化した。明治時代に入り広大な跡地は、大学及び軍用地や商業地等に転用された。区内には、幕府の官学の府ともいうべき湯島聖堂、昌平坂学問所があった。
現在の文京区に人が住み始めたのはおよそ18,000年前頃の旧石器時代と考えられている。区内28カ所に縄文遺跡が確認され、本郷台地周辺で貝塚と縄文土器が多数発見されている。1884年（明治17年）に向ヶ丘弥生町（現在の弥生一丁目）で発見された土器は、その発見地から弥生土器と命名され、弥生時代の名の由来となっている。1896年（明治29年）に六義園（本駒込6丁目）から本郷通りの東側（現在の本駒込5丁目）で弥生後期の遺跡が発見されている。豊島区と文京区の区界にまたがって広がる遺跡である。令制国としては武蔵国の一部であった。中世に至り上杉氏の支配下に入り、太田氏や豊島氏などの豪族の影響を受けた。戦国時代には相模国 から進出した後北条氏の支配地となり、徐々に発展していったようである。
ショパン、リスト、シューマン、ラフマニノフなどのロマン派の作品の演奏で最もよく知られているが、レパートリーは、スクリャービンなど近現代の作曲家、モーツァルト、ベートーヴェン、スカルラッティなど古典も含め、極めて多岐に渡る。また、クレメンティ、ツェルニー、モシュコフスキといった一般的にマイナーな作曲家なども、主にリサイタルのアンコールプログラムに取り入れることが度々あった。また、ホロヴィッツがレパートリーとしたことにより、20世紀前半まではあまり演奏されることのなかった、スカルラッティやクレメンティの鍵盤作品に、再びスポットが当てられるようになった。新しい曲に取り組む際には、交響曲からオペラ作品に至るまで、その作曲家の作品すべての楽譜に目を通していたという。彼の遺品の多くは死後、夫人のワンダ・トスカニーニ・ホロヴィッツによりイェール大学に寄贈されたが、その中には膨大な楽譜と、リストの自筆の手紙などの多数のコレクションが含まれていた。古典派もロマン派のような解釈で演奏したため、感性と技巧のみに頼って演奏していたように言われることがあるが、実際にはこのようにして作曲家の作曲技法の全体像をつかむことはもとより、作品が作曲された当時の作曲家の境遇や心境を理解しようとする努力を怠らなかった。コンサートに一度も取り上げたことのないラフマニノフのピアノ協奏曲2番や、録音が残っていないショパンの作品もほとんどすべて暗譜していた。1940～50年代にかけては同時代の作曲家の紹介にも努め、プロコフィエフのピアノソナタ第6・7・8番、カバレフスキーのピアノソナタ第2・3番のアメリカ初演、バーバーのピアノソナタの世界初演なども手掛けている。協奏曲の録音は極めて少なく、コンサートに取り上げたレパートリーも非常に限られている。1920年代から30年代にかけてはブラームスのピアノ協奏曲第1番・2番、リストのピアノ協奏曲第1番・2番などもしばしば演奏会に取り上げたが、アメリカ移住後は、興行主や自身の代理人から大衆受けする作品の演奏を強く勧められ、チャイコフスキーのピアノ協奏曲第1番、ベートーヴェンのピアノ協奏曲第5番『皇帝』、後にホロヴィッツの代名詞ともなったラフマニノフのピアノ協奏曲第3番などに限られるようになった。中でも鮮烈なアメリカデビューを飾ったチャイコフスキーの協奏曲第1番と、作曲家自身がホロヴィッツの演奏を聴いた後ステージに駆け寄って「私よりうまくこの曲を演奏する」と感動を伝えたというラフマニノフのピアノ協奏曲第3番では、数種類の録音が残っており、ホロヴィッツならではの緊張感あふれる鮮鋭な演奏が魅力である。晩年にはモーツァルトのピアノ作品への傾倒を深め、数曲のピアノソナタに加えてピアノ協奏曲第23番を録音している。1940年代から53年のコンサート活動引退までは、技巧的な曲を好むアメリカの聴衆を満足させるためもあり、自ら編曲したかなりアクロバティックな曲もしばしば演奏会に取り上げた。『カルメン変奏曲』『死の舞踏』『結婚行進曲による変奏曲』『星条旗よ永遠なれ』(第二次世界大戦中はアンコールでこの曲が演奏されるまで聴衆は帰らなかったと言われている)などが録音として残っている。リスト作曲・ホロヴィッツ編曲の『ハンガリー狂詩曲第2番』ではフリシュカ部の終りに向かって3段譜を鮮やかに弾きこなしつつ、圧倒的なクライマックスを作り上げている。一方、ムソルグスキー作曲の『展覧会の絵』の編曲は、ホロヴィッツがいかにピアノ技法を熟知していたかを示す顕著な例である。ピアニストとしては一流ではなかったムソルグスキーの原曲に作曲技法上の限界や無駄があると感じたホロヴィッツが、原曲の持つロシア的な性格を一層引き出しつつ、ピアノの持つ可能性を最大限に活かすことを目的として編曲したもので、録音された演奏から数名が楽譜起しを試みた結果、聴感上の難易度に比べ非常に効率的な編曲がなされていることが分かっている。