仲麻吕一同踏上归国之途。僧人鉴真希望搭载遣唐使船只去日本传播佛教，被清河拒绝了。但副使大伴古麻吕私自携鉴真赴日。遣唐使一行从扬州出航，途中，藤原清河所乘的第一船遭遇逆风，漂到唐朝南方的驩州。船员在当地登陆，却遭到了土人的袭击，船员多被杀害，藤原清河与阿倍仲麻吕仅以身免。于是，天平胜宝7年（755年），二人只得回到长安。藤原清河改名河清，出仕唐朝，担任秘书监之职。天平宝字3年（759年），日本以高元度为迎入唐大使使，从渤海国进入唐朝。然而当时唐朝处于安史之乱的骚乱状态下，唐朝以路途危险为由，不许清河归国。