Han var den eldste sønnen av kunstneren Norman Lindsay, og dennes første hustru Kathleen Agatha, født Parkinson, som var født i India. Lindsay ble født i Melbourne, tilbrakte sin første barndom i Sydney, men da hans foreldre ble skilt i 1909 tok hans mor ham sammen med brødrene Raymond og Philip med til Brisbane for å være nær sin søster. I de neste ti årene tilbrakte han mye av sin tid i huset til sin tante og sin onkel, J.S.C. Elkington. Hans akademiske dyktighet skaffet ham et stipend til gymnaset i Brisbane (1914-1917) og deretter ved Universitetet i Queensland hvor han studerte klassisk litteratur og tok en BA i 1921. Han hadde ingen kontakt med sin far før i 1919 da kontakten ble fornyet, både følelsesmessig og intellektuelt og varte ut 1920-tallet.