ネル・グウィン
しかしネルは、自分が平民の女優出身であるため、他の寵姫たちと違って自分や息子たちに何の称号もない事を気に病んでいたのだった。特に子供たちに関しては、称号を得ればさまざまな保護や厚遇が与えられ、財政的にも潤うため、ネルにとって切実な問題だった。1679年、チャールズ2世はネルのためにウィンザーに家を与えた。バーフォード・ハウスはウィンザー宮殿(Home Park, Windsor)(英語版) の敷地内に建てられた。
1680年に、次男のジェームスが急死してしまった。ネルは、深く悲しんだ。さらに翌月には、ネルの友人ロチェスター伯爵ジョン・ウィルモットも死去した。その後、ネルは悲しみからなんとか立ち直り、バーフォード・ハウスを大きくするのに忙しい日々を送った。ネルは王を喜ばせるために、王立協会の特別会員を招待して滞在させ、ピープスも招待した。また、大勢の役者や女優をウィンザー宮殿に呼び、王のために朗読をさせた。チャールズ2世は1人で読書するよりこちらの方が好きだった。