雅好藏书，道光二十年，杨以增得梅曾亮、包世臣之助，筹建藏书楼，任江南河道总督期间购得汪士钟旧藏，借助官方漕运粮船运回聊城，太平军起时，杨以增在江苏清江浦购得苏州黄丕烈藏书。一生收书数十万卷，其藏书处分别被命名为海源阁、宋存书室、四经四史之斋。杨以增之子杨绍和亦致力于藏书事业，“搜罗典籍，不遗余力，孤本珍籍、精校名抄，乃悉集于聊城。”同治年间，肃顺及怡亲王载垣以狂悖遭诛，杨绍和购得怡府乐善堂、明善堂、安乐堂的大部分珍籍。杨绍和之子杨保彝每遇善本，辄多购置。经杨以增、杨绍和、杨保彝、杨承训四代人的努力，总计四千