原亦留唐出任祕书监等职，没有回去日本。据《古今和歌集》，宝龟元年（唐大历五年，770年）正月，晁衡最终长眠于长安，埋骨唐土。天皇追封正二品官位。这段史话被中日史籍引为美谈。
纪念馆.1979年，为纪念晁衡留唐1200週年，中国在陕西省西安市的兴庆宫公园里建造了「阿倍仲麻吕纪念碑」和「阿倍仲麻吕纪念堂」。而在江苏省镇江的北固山，也竖立着一块阿倍仲麻吕的歌碑。其碑文内容，则是其和歌的汉诗翻译版本：