En 1670 su hijo Victorián José Esmir y Casanate construyó un oratorio en la casa, autorizando la Santa Sede en 1774 el culto en el mismo a Ignacio Esmir y Cavero y su esposa.