У віці чотирнадцяти років Жозеф став сиротою. Виховував його дядько. В дитинстві через часті хвороби за приписом лікаря Жозеф проводив багато часу в сільській місцевості. Любив малювання. Живучи неподалік від Ватерлоо, під час Битви під Ватерлоо був неподалік і, на відміну від інших селян, не втік переховуватись у Суаньський ліс, наступного дня відвідав місце битви і зробив там акварельний малюнок.