安排他去僧院读书，又被僧院的住持投诉他狂率。韩愈骂他一事无成，他却反说自己有本事使牡丹变色，并把这本事在韩愈面前表演，得到韩愈的称赞。为此事他还写了另一首诗〈徐州赠族侄〉诗，内容是：“击门者谁子？闻言乃吾宗。自云有奇术，探妙有天工。”北宋仁宗年间刘斧《青琐高议》记载，韩湘性好道术，自言“解造逡巡酒，能开顷刻花”。不过此事发生在韩愈出蓝关之后，辞官回到江淮的事。但这件事后来亦被人错误的算入韩湘的身上。
民间传说.韩湘子据说为殁后登仙。在他成仙之时，「看仙桃红熟，上树摘取，忽然