季友幼年家道破落，遂与其兄一同迁至丰城云岭定居，并用功读书。杜甫对其的描述为“丰城客子王季友，群书万卷常暗诵，《孝经》一通看在手……明月无暇岂容易，紫气郁郁犹沖斗。”（《杜甫诗集》卷七》）。王季友在22岁时便考中状元，并任御史治书。但因厌倦时政，无意与李林甫之辈为伍，王季友不久后返回到丰城，在株山脚下的龙泽智度寺设帐授徒，开始了长达二十多年的隐居生活。隐居期间，王季友着有《龙泽遗稿》、《四书要注》、《六经通义》等作。名气亦响喝当时，杜甫、钱起、郎士元等人都与其有唱和之作。杜甫作诗评价王季友为“道阻江湖，期以