Після смерті у 1813 році сестри Лідії та загибелі в битві під Кульмом молодшого брата Миколи, Віктор Скаржинський залишився єдиним нащадком і спадкоємцем своїх батьків.