Nel 1855 divenne proprietà dei conti Cacherano di Bricherasio, un'estinta famiglia dell'antica nobiltà piemontese distintasi per onori militari che vantò il titolo di viceré dei Savoia per alcuni dei suoi membri ma che si distinse anche per apprezzabili attività di filantropia e mecenatismo. Al conte Luigi Baldassarre Cacherano di Bricherasio, si deve il rimaneggiamento degli ambienti interni e dei prospetti esterni su progetto di Barnaba Panizza, secondo i dettami dello stile neoclassico dell'epoca. Dal suo matrimonio con la marchesa Teresa Massel di Caresana nacquero Sofia ed Emanuele, che divennero presto personaggi di spicco della nobiltà torinese di inizio Novecento.