Vũ Huấn lưu lạc nhiều nơi, đến năm 16 tuổi vào làm thuê cho cử nhân họ Trương ở thôn Tiết Điếm huyện Quán Đào. Do Vũ Huấn không biết chữ nên nhiều lần bị lừa gạt và vu oan đánh đập, ông bất mãn bỏ tới làm thuê cho một vị Tú tài. Vị này cũng thấy Vũ Huấn mù chữ, mỗi lần chị gái gửi thư cho ông lại đọc lượt bớt đoạn gửi tiền, đến khi Vũ Huấn biết chuyện hỏi lại thì bị chửi cho một trận. Có hôm vị Tú Tài nọ sai ông dán câu đối tết, gặp cơn gió thổi liễn bay tứ tung, ông dán nhầm đủ thứ: đầu giường thì "Chó mèo bình an", chuồng gà thì "Cả nhà cát tường"... Tú tài nọ giận quá đánh cho một trận rồi đuổi đi mà còn trừ tiền công. Vũ Huấn phẫn uất ném trả tiền vào mặt người Tú tài. Sau đó ông lại sang ở với chị, tại đây cũng không khá gì hơn: bị người anh rể là Trương lão bản nhiều lần vu cáo bằng chữ nghĩa, mà Vũ Huấn mù chữ, có miệng không sao nói được. Rời nhà chị, ông đau khổ đến phát bệnh, nằm mê man trong cái miếu hoang suốt ba ngày ba đêm.