Henriks foreldre var snekkermester Christian August Grosch (1815–1885) og Georgine Mathilde Stougaard (1809–1895) fra Egersund. Farens storebror er den store byarkitekt Christian Heinrich Grosch (1801–1865) med Slottet i Oslo. Farens lillesøster er Nanna Sophie Grosch (1818–1890) gift med arkitekten Carl Heinrich Voss, deres datter Nanna Margaretha Voss (1848–1923) gir i 1883 sitt ja til Henrik August, de gifter seg i tyske Altona der hun (Nanna Margaretha) er født. Datteren Nanna Grosch (1885–1977) jobber i 1910 for faren der i Kunstindustrimuseet mens sønnen Henrik Grosch (1890–1946) fortsatt er studerende.