Ruby arbeidet som agent for en forening som senere ble del av International Brotherhood of Teamsters. Han fikk offentlighetens søkelys på seg da fagforeningens leder, advokaten Leon Cooke, ble skutt og drept i desember 1939. Ruby ble ansett uskyldig. Til minne om Cooke tok Ruby navnet «Leon» som mellomnavn.