Khi Vũ Huấn lên 5 tuổi, cha mất, hoàn cảnh gia đình càng trở nên cùng túng. Anh trai của ông là Vũ Nhượng mưu sinh xa nhà. Gia đình chỉ còn hai mẹ con, Vũ Huấn phải theo mẹ là Thôi thị xin ăn kiếm sống qua ngày. Ông rất hiếu thảo, thường xin được vật ngon thì giữ cho mẹ cả. Ông lại còn thèm đi học, hay ngấp nghé ở các trường để nghe giảng, thấy học trò về thì cung kính theo sau, nhưng với bộ dạng ăn mày, ông bị khinh bỉ và ghét bỏ không kể xiết. Có lần ông đánh liều vào một lớp xin học, bị đánh đập, chế nhạo rất thậm tệ. Sau lần đó, ông chỉ còn mỗi ngày cầm gậy đánh chó, đội nón rách, cầm bát mẻ, dọc theo đường phố xin ăn.