Branwell Brontë var den fjerde av seks barn og eneste sønn av Patrick Brontë og hans kone, Maria Branwell Brontë. I mai 1821 flyttet morens søster, tante Elizabeth, inn hos dem, og i september samme år døde moren. I mai 1825 døde eldstesøsteren Maria av tuberkulose. Det samme gjorde ti år gamle Elizabeth måneden etter. Fra da av gikk barna på hjemmeskole og fikk undervisning av sin far og sin mors søster frem til 1830. I juni 1826 fikk Branwell en eske med tolv tinnsoldater. De tre gjenlevende søstrene tok også hver sin tinnsoldat, og sammen med Charlotte diktet Branwell frem fantasi-rikene Glass Town og Angria, mens Emily og Anne i 1834 brøt ut med sitt eget fantasi-rike Gondal.