Günümüzde caminin yer aldığı alandaki ilk ibadethane, 14. yüzyılda inşa edilen ve Gotik mimari özelliklerini taşıyan bir kiliseydi. Bu kilisenin 1350'li veya 1360'lı yıllarda inşa edildiği, Eleusa'ya (Merhametli Meryem Ana) adanmış olduğu yönünde bulgular vardır. Şehrin 1570 yılında Osmanlı İmparatorluğu hakimiyetine geçmesiyle camiye çevrilen bu kilise, "Cami-i Cedid" veya "Yeni Cami" olarak anılmaya başlandı. 1740-41 yılına dek ayakta kalan bu yapı, bu tarihte geriye minaresi ve güneybatı köşesi kalacak şekilde yıkılarak Menteşzade Hacı İsmail Ağa tarafından 20 metre uzağına yeni bir cami inşa edildi. Rivayete göre Menteşzade Hacı İsmail Ağa, define bulmak için caminin altını kazdırarak yıkılmasına sebep oldu ve bundan dolayı idam edildi. Bu caminin yerine 1898-1899 yıllarında, günümüze ulaşan cami yapıldı. Eski caminin minaresi 1974'te Kıbrıs Harekâtı sırasında isabet eden bir havan topuyla zarar gördüğünden 1977'de yıktırıldı ve 1979'da yeni bir minare inşa edildi.