不久归里。好藏书，尤嗜宋本，至嘉庆十七年，已有宋本200种左右，海内称雄，自号「佞宋主人」，并撰写了大量题跋。顾广圻诗曰：“翁读未见根性命，消融名利同渣滓。”《黄丕烈年谱》称丕烈藏书始于二十六岁得校本《楚辞》残本于朱文游家，三十岁时得第一部宋版书《大戴礼记》，此后凡遇善本，不惜重金购之，干隆五十四年（1789），从张秋塘处取得《天下郡国利病书》原稿。好校书，宋刻《文苑英华纂要》花费十一年，经十一校始成，“积晦明风雨之勤，夺饮食男女之欲，以沈冥其中”，“校书如扫叶拂尘”，自称“书魔”。晚年在苏州玄妙观