Iniciada su construcción probablemente en el siglo XVI, fue ampliado y reedificado a fines del siglo XVII por don Pedro Argüelles Quirós y Valdés, deán de la Iglesia Catedral de Santiago de Compostela, quien, en torno a 1668-1673, encargo su reconstrucción al arquitecto cántabro Diego González de Gajano.