Durante las negociaciones del Tratado de Oliva (1660), el rey de Polonia Juan II Casimiro (1648-1668) vivió en uno de ellos, mientras que el negociador sueco Magnus de la Gardie se hospedó en otra residencia que pasó a denominarse "Residencia sueca" desde entonces.