Olivier ble født i Colchester, som det andre av ti barn. Han studerte filosofi og teologi ved Corpus Christi College i Oxford. Ved Oxford University ble han en nær venn av den kjente sosialisten Graham Wallas, som kom fra en tilsvarende bakgrunn som ham. Etter eksamen nektet han å bøye av for familiens, som ville at han skulle begynne som advokat. Olivier var medlem av Land Reform Union, der han møtte George Bernard Shaw i 1883, og samme år var Olivier med på å grunnlegge et månedlig tidsskrift kalt , inspirert av en kristen sosialistisk bevegelse.