Tras la muerte del zar Pablo I de Rusia el palacio pasó a manos del gran duque y después zar Nicolás I de Rusia, que en su momento lo dejó a su segundo hijo, el gran duque Constantino de Rusia.