Первоначально служил в австрийской армии. В 1789 году вернулся на родину и перешёл на службу в польскую армию. В 1792 году участвовал в русско-польской войне на Волыни. После капитуляции польского короля и присоединения его к Тарговицкой конфедерации Юзеф Виельгорский вышел в отставку и эмигрировал в Вену.