Frederik 2. fik kun kort glæde af sit lysthus, da han døde året efter opførelsen. Sønnen Christian 4. kom her meget ofte, og han ofrede mange midler på at udstyre haven med sjældne træer, prydhave med hække af buksbom, bure med fasaner og høns m.m. Svenskekrigene 1658-60 gik ret hårdt ud over bygningerne, mens selve haven ikke led større overlast. Frederik 3. synes ikke at have interesseret sig synderligt for stedet. Han lod den nye gartner forenkle og omlægge anlægget til frugt- og urtehave. Bygningen blev først istandsat af Christian 5. i 1680-81 ved bygmester Hans van Steenwinckel den yngste. Ud over nogle mindre kosmetiske ændringer samt opsætningen af kongens monogram "C5" og årstallet "1681" stod bygningen som Frederik 2. havde skabt det. Christian 5. kom her ret ofte, da hans jagtture i Nordsjælland førte ham forbi. Sønnen Frederik 4. fik huset hovedistandsat igen i 1716-17, men efter hans ægteskab med Anna Sophie Reventlow kom kongefamilien her ikke mere. Frederik 5. valgte 1747 at bortforpagte Lundehave for fire år til en løjtnant Burghof, og 1751 solgtes ejendommen til kæmmerer Johannes G. Putscher, der var borger i Helsingør. Han solgte den videre syv år senere til kongens gode ven overhofmarskal, greve Adam Gottlob Moltke til Bregentved for 3.600 rigsdaler – næsten det dobbelte af, hvad han selv havde givet.