Bernhard var sønn av forfatteren Conradine Dunker (1780–1866) og bror til pedagogen Vilhelmine Ullmann (1816–1915). I 1847 kjøpte han seg på Malmøya og fikk bygd en tømret villa i sveitserstil, tegnet av vennen Heinrich Ernst Schirmer. Også søsteren Vilhelmine Ullmann ferierte her, det ble bygd badehus og stedet ble et kursted mot revmatisme, og dødssted for moren Conradine Dunker. Huset brant i 1902 og var feriehjem for Bryggeri- Mineralvannarbeidernes Forening frem til 1966 da Oslo kommune overtok og rev alt.