始学习东京的下町文化，有三味线、、、落语等等。、明治大学文学部演剧学科毕业。大学毕业之后，他立志目标要当位演出家，参加电影公司东映总部举办的广告之企划与演出征选募集，但通通都落选。但在东映介绍下进入了动画公司东映动画。此时跟芝山同期加入东映动画的有宫崎骏、。1963年，以契约社员的身分进入东映动画上班，同年以长篇动画电影《》负责动画的工作出道。此外于电视动画《》制作期间拜林静一为师，而芝山的画风受到林静一相当大的影响。1966年，受到A制作公司（1976年改名SHIN-EI动画）创办人楠部大吉郎