音乐在他的心中留下来了非常强烈的印象。1933年，毕业于长野师范学校后，他以教师的身份在长野县内任教，并同时开始学习作曲。1939年至1943年，小山清茂师从安部幸明。在此期间，他又任丰岛区长崎第五国民学校的勤务人员（1941年）以及东京都教员管弦乐团的长笛演奏员。在担任演奏员的同时，他又熟识了东京都教员管弦乐团的指挥渡边浦人，并借此机会熟悉了管弦乐团里的各种乐器以及音色。1946年，小山以管弦乐作品《信浓囃子》夺得日本第十四回音乐大赛的第一名，从此开始，他的技法也渐渐地成熟了起来。1950年，小山清茂与渡