Sternes far Roger var fenrik i den engelske hær, moren Agnes var datter av en marketenter. Familiemn måtte over en tiårsperiode følge med til de forskjellige stasjoneringer farens regiment ble sendt til.