部毕业之后，立即进入电影公司东映上班。于京都摄影分所服务2年后，才移籍进入动画公司东映动画。在那之后负责1965年电视动画《》的演出成为他的动画业界出道作。从此参加过《魔法使莎莉 (1966年版)》、《鬼太郎 (第1作)》、《虎面人》、《恶魔人》及《玲珑三勇士S》等多部电视动画的演出工作。1976年的电视动画《小甜甜》首次担任系列导演（＝导演），同时让长年一直负责演出的设乐声名大噪。在那之后的《花仙子》、《魔法少女拉拉贝尔》及《》等「」作品总导演（后来职位改名为系列导演）的工作全由他包办。1980年