Stedets isolerte beliggenhet vinterstid gjorde det attraktivt for illegal virksomhet. I forbudstiden sto Norgeshistoriens største smuglerslag her, det såkalte «Letterslaget». Stedet fikk med tiden et noe belastet rykte. På denne tiden ble Indre Oslofjord i tillegg sterkt forurenset og badelysten avtok. Etter okkupasjonen ønsket Kongsgården en annen profil på stedet. Restauranten og friluftsscenen ble leid ut til Godtemplarorden, som drev stedet alkoholfritt.