Charles Stoddart var sønn av major Stephen Stoddart og hans hustru Katherine Randal. Faren døde allerede i 1812 ved en rideulykke.