I 1826 døde Andreas Schaft, og enken Petronelle flyttet ut til Elisenberg på helårsbasis, men fortsatte å leie ut rom om sommeren. Historikeren Peter Andreas Munch og juristen Peter Jonas Collett var hyppige sommergjester her, og herfra skrev Collett brev til sin forlovede Camilla Wergeland, bedre kjent som Camilla Collett. På denne tiden utgjorde Elisenberg hele området fra Frognerparken til Bygdøy allé mellom Nobels gate og Frognerveien.