成化年间，进入宫廷，在内书堂学习，之后官至尚衣监太监。成化二十三年(1487年)，明宪宗去世，按照惯例，任茂陵司香。弘治六年(1493年)，余俊被召回宫廷，昼夜侍奉皇子朱厚照。弘治十八年(1505年)，朱厚照即位，余俊升任御马监左少监。不久，余俊又升御马监太监，赏赐蟒衣、玉带，掌管干清宫。正德元年(1506年)，改任内官监太监，调任南京守备。临别时，明武宗赐玺书、旌钺。正德十年(1515年)，余俊与同僚黄伟、高隆、芮景贤、董文等人，追随南京内守备太监刘琅重修鸡笼山十庙之一的真武庙。余俊于正德十一年(1