मंदिर के वास्तविक निर्माण को भी लेकर दो मत बने हुए हैं। एक मत यह कहता है कि इस मंदिर का आकार बौद्ध मठ जैसा दिखता है, जिससे इसके अशोक के द्वारा निर्माण कराए जाने की बात का दावा किया जाता है। वहीं, दूसरे मत से मंदिर के बाहरी दीवारों पर चित्रित मोर के निशान और चक्र से यह अंदाज़ा लगाया जाता है कि यह मंदिर चक्रवर्ती सम्राट हर्षवर्धन के काल में स्थापित हुआ होगा।