持节使的第八次遣唐使团的少录（书记官），时年四十二岁。没有爵位。他在唐都长安时，还写了怀念故国的和歌。704年（庆云元年），他随使团回到日本。714年（和铜七年）正月，山上忆良由正六位下晋升为从五位下，这是史书上唯一一次关于他的位阶的记载。三年后（灵龟二年），他被任命为伯耆（今鸟取县）守。721年（养老五年），他奉诏调回京城，作了“东宫侍讲”，即被聘为皇太子首（以后的圣武天皇）的老师。这可能是因为他作为遣唐使团的书记官，在唐二年，掌握了不少可向皇太子讲授的大陆学问和文物制度的缘故。大概在这一时期