In die arme Hirtenfamilie von Ludovico (Louis) Fieschi und seiner Frau Maria Lucia "de Pomonto" geboren, erlebte Joseph Fieschi eine schwierige, von Familientragödien geprägte Kindheit. 1804 wurde sein Vater unter der Gewalt- und Willkürherrschaft des Generals Joseph Morand verhaftet und zu sechs Jahren Gefängnis verurteilt. Er entzog sich der Strafe durch Flucht und starb 1808 fern der Insel. Ein Jahr später fiel sein älterer Bruder Thomas, der in den kaiserlichen Truppen kämpfte, in der Schlacht bei Wagram.