Nació en Bristol, hijo del comerciante de tejidos Thomas Southey y de Margaret Hill, pero pasó gran parte de su infancia al cuidado de su tía, Elizabeth Tyler.