Un château existait dès 1250 au moins ; Yvon de Kerouzéré, né en 1225, seigneur de Kérouzéré, fut chevalier croisé en 1248 lors de la Septième croisade, est le plus ancien seigneur de Kerouzéré connu.