Abberline var den eneste sønn av Edward Abberline, en salmaker som også var sheriff, og hans kone Hannah ( født Chinn). Edward Abberline døde i 1849 og hans enke åpnet en liten butikk og oppdro de fire barna, Emily, Harriett, Edward og Frederick alene.