Han var sønn av Røldalspresten Johannes Brochmann (1852–1930) og Elisabeth Falsen Smith (1855–1955) fra Molde, samt bror av forfatteren Georg Brochmann (1894–1952). Diderik giftet seg i 1901 med lensmannsdattera Margit Hagen (1876–1962) fra Røldal. De bodde mye i Ullensvang og var foreldre til arkitekten Odd Brochmann (1909–92) og forfatteren Zinken Hopp (1905–87).