Dermed var det broren Jacques-Joseph som hjalp ham under oppveksten. Det var Jacques-Joseph som lærte sin lillebror å lese, og støttet opp om hans utdannelse. Broren kan også ha vært opphavet til hans interesse for Egypt, siden han talte meget om at han ikke hadde kunnet følge med Napoleons ekspedisjon til Egypt.