A partir del siglo X, el castillo se convierte en residencia del representante real o conde y gobierna el alfoz de Gozón.