Mimi Stoltz var datter av ingeniør Jan Henrich Stoltz (1843-1892) og skuespiller Sophie Schirmer (1843-1935). Hun var datterdatter av den tyskfødte arkitekten Heinrich Ernst Schirmer (1814-1887).