他随使团回到日本。714年（和铜七年）正月，山上忆良由正六位下晋升为从五位下，这是史书上唯一一次关于他的位阶的记载。三年后（灵龟二年），他被任命为伯耆（今鸟取县）守。721年（养老五年），他奉诏调回京城，作了“东宫侍讲”，即被聘为皇太子首（以后的圣武天皇）的老师。这可能是因为他作为遣唐使团的书记官，在唐二年，掌握了不少可向皇太子讲授的大陆学问和文物制度的缘故。大概在这一时期，他曾编纂过一本书名为《类聚歌林》的和歌集，该书流传至镰仓时代初期，现已不存。在《万叶集》的注中，曾多次提到该书。由他来主编和