En excavaciones realizadas en 1992 en los jardines se hallaron restos del circo romano y un conjunto de casas de época almohade que conservaban decoración en sus muros. Con la conquista castellana de la ciudad por el monarca Fernando III en 1236, este espacio fue cedido para la construcción del convento de San Pablo y los monjes lo destinaron a huerto. Con la desamortización de Mendizábal en 1835, el convento se convirtió en un cuartel militar, que más tarde fue abandonado y finalmente se ordenó su demolición en 1848, dejando únicamente en pie la iglesia de San Pablo que continúa en la actualidad. La denominación de jardines de Orive se produjo debido a que este espacio hortícola fue adquirido por los propietarios del palacio de Orive, ubicado junto al mismo.