Heinrich von Blois, Enkel Wilhelms des Eroberers, und Bischof von Winchester ließen 1138 die Burg errichten. Sie sollte über 800 Jahre lang der Sitz der Bischöfe von Winchester sein. König Heinrich II. ließ das ursprüngliche Gebäude 1155 nach dem Bürgerkrieg der Anarchie zerstören. Ende des 12. und Anfang des 13. Jahrhunderts wurde die Burg wieder aufgebaut. Anfang des 15. Jahrhunderts residierte dort Kardinal Henry Beaufort, der 1414 dem Gericht in der Verhandlung gegen Johanna von Orleans vorsaß. Aus diesem Grund wurde die Kirche von Farnham dieser heiligen Märtyrerin geweiht. Nach dem englischen Bürgerkrieg 1648 wurde die Burg erneut geschleift. Seither wurden weitere Gebäude auf dem Burggelände errichtet; die beeindruckendsten davon sind die, die Bischof George Morley im 17. Jahrhundert bauen ließ.