Omkring 1896 flyttet Dørnberger til Son, hvor han ble boende resten av livet. Hans hjem, kjent som «Dørnbergerhuset» i Strandgata 15, er i slektens eie, men har i flere år vært stilt til disposisjon for maleren Arne Samuelsen. Mange av Dørnbergers verker har motiver fra Son, blant annet de historiske bygningene i sentrum og dampskipsbryggen som lå nedenfor huset hans.