少年颖悟，精通《汉书》和杜诗，八岁能作擘窠书（榜书、泛指大字）；工书法，梁巘称：“杨宾得执笔法，学右军、长公（苏轼），圆韵自然。”其父杨越在浙东通海案因掩护钱缵曾幼子获罪，康熙元年（1662年）九月与夫人范氏被流放到宁古塔。当时杨宾年仅十三岁，领五岁弟杨宝（杨实）与两个妹妹去上海县投奔叔父崇名镇右协右营都司杨懋经。八年后，叔父病故，宾等归山阴。康熙十四年（1675年）成婚于苏州，为养家活口，因习为刑名钱谷之学。康熙十七年，清廷开博学宏词科，巡抚张鹏翀预荐杨宾，然而杨宾以其父有“毋令宾为八股以应举”之命，拒