Olney studerte rettsvitenskap ved Brown University og Harvard Law School, før han i 1859 begynte å praktisere som advokat i Boston, hvor han fikk en høy posisjon innenfor den juridiske profesjonen som en ledende jernbaneadvokat. Fra 1874 ble han medlem av Massachusetts House of Representatives.