Det sies at en gang Gwyn var ute med hest og vogn i Londons gater, trodde folk det var den forhatte elskerinnen Louise de Kérouaille, 1. hertuginne av Portsmouth som satt i vognen, og begynte å kaste sten mot den. Gwyn stakk da hodet ut gjennom vinduet og ropte smilende: «» I februar 1671 flyttet Gwyn inn i et eid av kongen, Pall Mall nr 79. Det nåværende bygget på tomten ble reist 1866-68. Fem år senere fikk hun skjøte på eiendommen som ble i hennes familie inntil 1693. I 1960 var nr 79 fremdeles den eneste eiendommen på sørsiden av Pall Mall som ikke var krongods. I rekken av kong Karls elskerinner (minst et dusin gjennom årene) regnes Nell Gwyn som den som viste seg minst grisk etter fordeler. En gang betalte hun middagen hans. Hun satt på teateret i en losje bortenfor kongens, og han var mer opptatt av henne enn av stykket. Etterpå inviterte han henne til å spise sammen med ham og hans bror, hertugen av York, men det viste seg at ingen av dem hadde penger på seg, så Nell Gwyn måtte betale. Hun sa at fattigere selskap hadde hun aldri befunnet seg i.