他出身于大陆移民，有的则反对这种意见，目前尚无定论。山上氏是一个卑姓，从忆良的祖父完全不为人知一事可以推测，他们多半不具有官吏应有的位阶。在四十二岁以前，山上忆良的生平也不见于记载。701年（大宝元年）正月，山上忆良的名字才在正史上出现，他被任命为以粟田真人为持节使的第八次遣唐使团的少录（书记官），时年四十二岁。没有爵位。他在唐都长安时，还写了怀念故国的和歌。704年（庆云元年），他随使团回到日本。714年（和铜七年）正月，山上忆良由正六位下晋升为从五位下，这是史书上唯一一次关于他的位阶的记载。三年