El edificio más antiguo de Pacific Heights, situado en 2475 Pacific Avenue, fue construido en 1853, pese a que la mayoría del barrio fue construido tras el seísmo de 1906. La arquitectura del barrio es variada, ya que mezcla estilos como el Victoriano, Misión, Edwardiano y Châteauesque. Además, en Pacific Heights se citan numerosos consulados de países como , , , , , , y .