Abbandonato ormai dalla Repubblica di Genova, ma sempre con la presenza di alcuni soldati locali, divenne sede del "Commissariato di Sanità di Rapallo". Il bombardamento navale di Genova nel 1684, da parte della flotta francese, causò un rapido riarmamento per scongiurare un improvviso attacco che, per fortuna, non accadde. Il maniero verrà definitivamente abbandonato nel 1705, per poi divenire successivamente proprietà privata, assieme alla villa adiacente, nei secoli successivi.