Иосиф происходил из немецко-польской семьи графа Михаила Виельгорского (1788—1856) и Луизы Карловны Бирон (1791—1853). М. Ю. Виельгорский служил в Коллегии иностранных дел, Министерстве народного просвещения, Министерстве внутренних дел, был пожалован в камер-юнкеры двора Его Императорского Величества. Но, помимо государственной службы, отец Иосифа наиболее всего прославился в качестве композитора-дилетанта. В первый брак с Екатериной Карловной Бирон граф Виельгорский вступил в 1812 году, однако уже через год он овдовел, потеряв жену в опустошённой после французского нашествия Москве, где молодые супруги остановились на пути в столицу, и где у Е. К. Виельгорской случились неудачные роды, закончившиеся её смертью. Этот сюжет и описание детски наивной Лизы Болконской (Lise Meinen) в романе «Война и мир» позднее использовал Лев Толстой.