Den siste hedenske romerske keiser, Julian II, tillot jødene å reise tilbake til «hellige Jerusalem som dere i så mange år har ønsket å gjenoppbygge», og ikke minst reise tempelet på nytt. Imidlertid ble keiseren drept i et slag den 26. juni 363 i hans feilslåtte hærtokt mot Sasanide-dynastiet, og tempelet ble ikke gjenoppbygd.