El origen del edificio se sitúa a finales del siglo XIV cuando Diego Menéndez Valdés, el Mayor, construye la torre original.