Fue fundada a mediados del siglo XIV por el obispo Alfonso Fernández de Valencia, que era bisnieto de los reyes Alfonso X y Sancho IV de Castilla, con el propósito de destinarla a panteón privado.