Het werd gebouwd in opdracht van Theresa Fair Oelrichs en Virginia Fair Vanderbilt ter ere van hun overleden vader, de mijnbouwmagnaat en senator James Graham Fair (1831-1894), naar een ontwerp van James en Merrit Reid in Italiaanse renaissancestijl. Het zou oorspronkelijk in 1906 openen, maar werd datzelfde jaar door de grote aardbeving van San Francisco beschadigd, waarna architecte Julia Morgan ingeschakeld werd om het met gewapend beton te versterken en op te knappen.