En fait, selon les archives, une ancienne forteresse dominant la Laïta aurait été rasée par les pirates normands au cours de la seconde moitié du ; ces pirates furent chassés par le comte de Cornouaille Alain Canhiart au , lequel jeta probablement les bases du château de Carnoët, qui fut une résidence ducale habitée successivement par Pierre, vers 1260 par Jean le Roux et sa femme Blanche de Navarre, puis par leur fils Jean II. Des carreaux de terre cuite retrouvés dans les ruines sont analogues à ceux du château de Suscinio et réalisés par des artisans angevins. Cette forteresse fut ruinée, détruite par le feu, lors de la Guerre de Succession de Bretagne.