绝句《哭晁卿衡》这名作，以表达对友人晁衡悲切的思念之情。然而，实际上晁衡的船只是随风漂流到了安南驩州（唐属地，今属越南），虽然没有沉没，却又被当地的盗贼袭击，死了一百七十多人，但他与藤原清河终也奇蹟地生还。最后755年，他与十多位倖存者历尽艰险，又回到了长安。是年安禄山之乱（历史上与史思明之乱合称安史之乱）爆发，往来中国及日本的路已变得相当危险，晁衡便打消了回日本的念头。
重回长安.晁衡又重回仕途，他又先后深得肃宗及代宗信任，由左散骑常侍（御前谏官，从三品）至安南都护、安南节度使（