Тёрнер Эшби-младший родился на плантации Розбэнк в округе Фокир в Вирджинии. Он был сыном Тёрнера Эшби-старшего и Доротеи Грин Эшби. Его отец рано умер и Тёрнера воспитывала в основном его мать. Он происходил от Томаса Эшби, который одним из первых поселился на территории округа Фокир между 1722 и 1730 годами и в честь которого был назван перевал Эшби-Гэп. Капитан Джек Эшби (1740 — 1815), сын Томаса, участвовал в экспедиции Брэддока и в войне с французами и индейцами. Сыном Джека был полковник Тёрнер Эшби Старший (1789—1834) участник войны 1812 года.