弟到不其山避难，当时粮十分缺乏，玄只好停学，辞谢其子弟，因此琰被遣散，到处都是盗寇，西去道路不通，于是周旋于青，徐，兖，豫四州郊野，向东去寿春，向南到长江，洞庭湖地区。离开家乡四年后才回家，在家只以弹琴读书自娱。
为袁绍属下时.袁绍听到琰名誉后征召，时绍兵专横暴虐，挖掘坟墓，琰劝绍:「昔日荀况（荀子）有说道：『对士兵平日不教训，战斗力不强，即使是商汤及周文王都不能拿那些人来打胜仗』现在道路上尸骨暴露，百姓都未看到主公的德政，应令各郡县掩埋尸骸来显示伤痛及爱心，追随周文王之仁慈之举。