Происходил из Вюртембергского дома. Родился в имении своего деда, князя Адама Чарторыйского, и назван в его честь. Сын Людвига Вюртембергского от первого брака (1784—1793) с княжной Марией Анной Чарторыйской. В войне против России 1792 года его отец — генерал-лейтенант, главнокомандующий литовской армией Речи Посполитой, отказался сражаться против российских войск и покинул армию, из-за чего его жена, мать Адама в 1793 году подала на развод и ушла в монастырь.