他们被沖散了。鑑真和其余两艘船各自开到了日本，而晁衡那艘船却下落不明。直到754年3月，仍然杳无消息。诗人李白以为他已遇难，悲痛地写下了七言绝句《哭晁卿衡》这名作，以表达对友人晁衡悲切的思念之情。然而，实际上晁衡的船只是随风漂流到了安南驩州（唐属地，今属越南），虽然没有沉没，却又被当地的盗贼袭击，死了一百七十多人，但他与藤原清河终也奇蹟地生还。最后755年，他与十多位倖存者历尽艰险，又回到了长安。是年安禄山之乱（历史上与史思明之乱合称安史之乱）爆发，往来中国及日本的路已变得相当危险，晁衡便打消了回日本的念头