关于夏雨来,最出名的要数“背石磨”的故事了。话说夏雨来有一个朋友有一天让家人到夏家借帽子,家人不识字,拿着主人的借条就来找夏雨来。刚好夏雨来在门前乘凉,那家人就大声呼喝:“喂!夏雨来可是住在这里?”夏雨来一听心里就有气,但他却不动声色,指了指后门,说,“你到后面去,那个坐在门口看书的就是他。”然后夏雨来就返身回屋,换了一套衣衫,拿了本书到后门。家人一见,恭恭敬敬地递上借条,说:“夏秀才,我家主人要借这个”。夏雨来装作十分乐意的样子,说:“哦,你家主人要借磨!”在潮州话里,帽与磨同音。夏雨来又写了一张回帖交给家人,然后让他把石磨背回去。结果主人一看,啼笑皆非,细问之下才知道家人得罪了夏雨来,又让他把石磨背回夏家去。夏雨来的回帖上写的就是:前门夏雨来,后门夏秀才,罚你把石磨背去背回来!另外一则。据说夏雨来小时候有一天到书塾读书,进门的时候不小心摔了个跟头,老师看见了,就作了一个上联要他对:“今日门生头点地。”夏雨来想了想,就说:“这个容易,你今日,我就对昨宵,你门生我就对师母,你头我就对脚,你点我就对朝,你地我就对天。你说行不行?”老师一时还没明白,就说:“可以。”一念,才知道里面的意思。一时间脸红得一句话也说不出来。原来对联是:“今日门生头点地,昨宵师母脚朝天。”其刁钻古怪若此,从小就可见一斑。(关于这个故事的主角,也有人说是纪晓岚)