Отец Феша, швейцарский капитан, поступил на французскую службу на острове Корсика, где в 1757 году женился на вдове Рамолино — бабушке Наполеона I по матери. Таким образом, Жозеф приходился единоутробным братом Летиции, матери императора. Был архидиаконом, но в революционную эпоху перешел в военное министерство и в 1796 году, во время первого итальянского похода Бонапарта, служил французским военным комиссаром. Вследствие жалоб на мздоимство должен был оставить службу.