I den nasjonalromantiske epoken av norsk malerihistorie (fra sirka 1830-årene framover) var det mange norske malere som var gjester på Baroniet, og som malte der. Bl.a. Anders Askevold, og Marcus Grønvold, som bl.a. malte den sirkelformede trappeoppgangen i husets sentrum.