Han giftet seg med norske Agnes Charlotte Gude, som var datter av kunstnerkollegaen Hans Gude. Scholz hadde i lang tid delt husvære med Agnes' bror Nils Gude i Berlin. Sammen fikk ekteparet datteren Betsy Louise Gude Scholz Agnus (1887–1979), som også ble billedkunstner.