Templene lå i Jerusalem på høyden Moria. Der lå også administrasjonsbygningene som Salomo bygde. Man mener at tempelplassen var like bak det stedet hvor Klippemoskeen ligger nå, men den nøyaktige beliggenheten er omdiskutert. Før den tid hadde David hatt sitt palass på den andre høyden, Sion. I romertiden lå flere andre viktige bygninger på eller ved Moria, som søylegangene og Antoniaborgen. Begge tempelene hadde to store rom eller saler, det hellige og det aller helligste, og de hadde også sidebygninger med flere rom.