湖州弁山风景优美,公元1190年(绍熙元年),他正式卜居弁山苕溪的白石洞天,朋友潘德久遂称他为“白石道人”。姜夔为人潇洒不羁,以陆龟蒙自许,当时的名流士大夫都争相与他结交,连大学者朱熹也对他青眼相加,不但喜欢他的文章,还佩服他深通礼乐。著名词人辛弃疾对他的词也深为叹服,曾和他填词互相酬唱。在湖州居住期间,姜夔仍旧时时四处游历,往来于苏州、杭州、合肥、金陵、南昌等地,这些经历在他的词集和诗集中多有反映。