Thời gian khấm khá ấy, có lúc anh ruột đánh bạc mắc nợ tới xin, Vũ Huấn không cho một xu, nhưng nghe tin có người đàn bà Trần thị, vợ Trương Bát Trại ở huyện Quán khâu vá xin ăn để nuôi mẹ, ông lại tặng cho mười mẩu ruộng tốt. Lúc này, ông vẫn tiếp tục ngày đi ăn xin, đêm ngủ trong miếu, đến mức có lần toàn thể học sinh tới quỳ mọp xin ông về ở trong trường, ông từ chối, bảo rằng mình đi xin ăn mà giàu là nhờ người tốt, nếu hưởng thụ thì như là lừa dối họ, nên ông không về.