I mars 1893 ble Olney til tross for mangel på politisk erfaring utnevnt til justisminister av president Grover Cleveland, og under den såkalte Pullman-streiken i Chicago i 1894 vedtok han at distriktenes advokater måtte innhente pålegg fra de føderale domstolene for å begrense arbeiderne fra vold. Hans handlinger representerte en presedens for et midlertidig påbud med styring. Han frarådet også bruk av føderale tropper for å slå ned urolighetene i byen på grunnlag av at myndighetene måtte hindre konflikter med infrastrukturen mellom statene.