位军人，母亲是位典型的家庭主妇。6个月大的时候，正逢抗战胜利，一家人随着父亲的部队到了台湾，并在台湾落地生根。由于青山的军人家庭较为保守，因此直到进了中学，青山被学校选上合唱团，才开始展露这方面的天赋。高中时期，青山进入台湾省立台北商业学校（今国立台北商业大学）夜间部就读，白天则在陆军供应司令部（今陆军后勤指挥部）上班，成为他生命的转折点。当时有一位音乐老师在听了他演唱的「偶然」，认为他是可造之材，一定要收他为徒，教他声乐同时练钢琴，为正式的音乐启蒙。1965年，高中毕业后，青山原有意朝专业领域发展