Starkey var enebarn, og mye alene. Han var også mye syk, og ble godt tatt vare på av mormor Annie og morfar Johnny. Annie var sjokkert over at Starkey var venstrehendt, og uttalte at hekser eller djevelen hadde besatt ham. Starkey omtalte henne ofte som «Liverpools Voodoo-dronning». Likevel var kårene trange for Elsie, som jobbet med å vaske trapper og i en grønnsakshandel før hun måtte gi opp Madryn Street og flytte til Admiral Grove 10, der hun sannsynligvis jobbet på en av de nærliggende pubene.