Roomalaiset tuhosivat temppelin vuonna 70 piirittäessään Jerusalemia ja kukistettuaan juutalaisten kansannousun. Roomalaiset jättivät temppelistä pystyyn vain läntisen ulkomuurin osan, joka tunnetaan nykyisin Itkumuurina. Nykyiset temppelialueen muurit myötäilevät Herodeksen rakennuttaman temppelin perustuksia, mutta ne on rakennettu vasta keskiajalla. Vain Herodeksen temppelialueen ulkomuureista ja temppelialueelle johtavista portaista ja portaikoista on säilynyt arkeologisia jäänteitä. Temppelialueen sisäosista ei arkeologisia jäänteitä ole säilynyt. Temppelin jäänteet ovat vuosisatojen kuluessa hautautuneet rakennuskerrosten alle. Temppelivuorella sijaitsevat nykyisin muslimien al-Aqsa-moskeija ja Kalliomoskeija.