Sach var født i Berlin. I sin ungdom studerte han piano, musikkteori og komposisjon. Hans doktorgrad i 1924 fra Berlins universitet (hvor han siden ble professor i musikkvitenskap) var imidlertid i kunsthistorie, med en senere tese om Verrocchios skulpturer. Han påbegynte en karriere som kunsthistoriker, men ble mer og mer hengiven overfor musikken, og han ble etter hvert utnevnt til leder for som var en stor samling av musikkinstrumenter. Han reorganiserte og restaurerte store deler av samlingen, og slik begynte hans karriere som organolog.