Den gamle hagepaviljongen fra gården Kjellestad ved Brevik ble satt opp på «Lysthushaugen» i parken i 1927. Paviljongen var en gave til museet fra Norges Bank. I det sydvestlige hjørnet av parken ble det i etapper bygget et friluftsteater som stod ferdig i 1924. På friluftsteateret – som i de første tiårene ble omtalt som «sommerteateret» – ble det arrangert mange store teater- og revyforestillinger og konserter i mellomkrigstiden. Teaterscenen ble tegnet av arkitekt Heinrich Karsten, som noen år tidligere hadde tegnet parkens nye musikkpaviljong. Ved gangveien som fører inn til teaterscenen fra parkanlegget står bronseskulpturen «Huldren og gutten»; den er laget av billedhuggeren Sveinung Aanonsen og kom i museets besittelse i 1921 etter at konsul Carl Stousland hadde kjøpt den på auksjon med sikte på å gi den videre til Brekkeparken.