平也不见于记载。701年（大宝元年）正月，山上忆良的名字才在正史上出现，他被任命为以粟田真人为持节使的第八次遣唐使团的少录（书记官），时年四十二岁。没有爵位。他在唐都长安时，还写了怀念故国的和歌。704年（庆云元年），他随使团回到日本。714年（和铜七年）正月，山上忆良由正六位下晋升为从五位下，这是史书上唯一一次关于他的位阶的记载。三年后（灵龟二年），他被任命为伯耆（今鸟取县）守。721年（养老五年），他奉诏调回京城，作了“东宫侍讲”，即被聘为皇太子首（以后的圣武天皇）的老师。这可能是因为他作为遣