Adolf Schirmer var sønn av Heinrich Ernst Schirmer og bror av Herman Major Schirmer. Han var gift med Hildur f. Koch (1856–1914), musiker og kvinnesakskvinne fra Braunschweig i Tyskland.