Jens Dunker var sønn av departementssekretær Bernhard Dunker (1847–1914) og Anna Cathrine Ottesen (1861–1948). I 1922 giftet han seg med Minda Juel Hvoslef (1898–1984), datter av major Ragnvald Hvoslef (1872–1944) og Ingeborg Dagny Gulbranson (1875–1963). Jens Gram Dunker er sønnesønn av Bernhard Dunker (1809–70) og dattersønn av godseier Carl August Gulbranson..