Dørnberger er for mange minst like godt kjent for sin eksentriske livsførsel som for sin kunst. Han bar en karakteristisk hamborgsk hatt, hadde treben og bar to pistoler som han kalte «Kitty» og «Kittys broder». I Dørnbergerhuset skal det være et kulehull fra et tilfelle hvor hans hissige temperament løp løpsk.