I 1853 ble Johnson og hennes to barn solgt til John Hill Wheeler (1806-1882), en plantasjeeier fra Nord-Carolina og politiker som arbeidet i Washington. DC. Hun som slave i hsns husholdning. Hennes eldste sønn var blitt solgt til henne tidligere master i Richmond, Virginia, og hun hadde ikke ventet å se ham igjen.