Edificato da Filippo d'Acaia nel 1324 come fortezza militare;fu in seguito residenza della famiglia sabauda:nei primi anni del '500 vi abitò la duchessa Bona di Savoia;vedova di Galeazzo Sforza;e per tutto il secolo soggiornarono tra le sue mura i duchi di Savoia;nel sec.XVII trovò rifugio Madama Cristina di Francia;prima che il castello si trasformasse in carcere per i valdesi.Dal '700 a metà del secolo scorso fu caserma e;dopo accurati lavori di recupero;oggi ospita nei vasti saloni dei due piani la biblioteca civica;ricca di oltre centomila volumi.Nelle torri sono conservati l'archivio storico fossanese e dell'ospedale cittadino;nonché la biblioteca di orientalistica donata dagli eredi del prof.Mario Vallauri.;Il cortile a loggiato con le colonne quattrocentesche impreziosite da capitelli scolpiti;la sala affrescata a grottesche dal Caracca;le volte a cassettoni;le tre meridiane di facciata e la veduta panoramica dall'alto delle torri offrono l'emozione di una visita a ritroso nel tempo.All'esterno la limitrofa Porta di San Martino apre al visitatore un percorso lungo il fossato e la cinta muraria;in cui le suggestioni dell'architettura difensiva sono state recuperate dal recente restauro.