I 1809 ble møllebruket og gården solgt til kjøpmann og stortingsrepresentant August Konow. I 1830-årene bygde han opp en omfattende malerisamling i Gravdal, bl.a. ved hjelp av I. C. Dahl. Noen av samlingens rundt 600 bilder har senere havnet i andre samlinger i Bergen, men de fleste endte opp i København. I 1840 utvidet Konow bygningen i bredden fra 10 til 15,75 meter og bygget på enda en etasje, slik at bygningen fikk sitt nåværende utseende. Bygningen har et valmet tak og fasader preget av en enkel empirestil med glattkantet panel og stramt listverk rundt etasjeskiller og vinduer. Utvendig er det bygget opp rundt en midtakse med brede trapper ut mot hageanlegget.