香家庭，但家境并不富裕。19岁时和父亲一起前往北京，就读于北京顺直中学，毕业后进入北大预科。但是因为家境贫寒之故，最终辍学。民国元年（1912）进入中华民国交通部电政司工作，后来一直在这里做到主事。史荫美早年曾从黄勉之学习过一些乐器，擅弹古筝、琵琶、琴。其中尤以古筝为精，此外亦通兼笙、管、箫、笛，会唱昆曲，被誉为“民乐奇才”之誉。抗日战争爆发之前，同时受四存中学聘请担任音乐教师共15年之久。民国二十七年（1928年）政府迁都南京，他也就失去了工作，只有辗转在华北和东北各地谋生。七七事变爆发后返回扬州