Tradicionalmente, y siguiendo a Mesonero Romanos, se ha venido sosteniendo que su función inicial no era militar, sino que se trataba de un convento, destinado a albergar a los franciscanos de San Gil.