Han ble i 1901 utnevnt til justisminister i regjeringen til William McKinley, og ble senere justisminister under Theodore Roosevelt. I Roosevelts regjering var han en ledende talsmann for det som senere, under president Taft, fikk betegnelsen «dollardiplomatiet» (engelsk: Dollar Diplomacy). I juni 1904 ble Knox utnevnt til senator av guvernør Samuel W. Pennypacker, og erstattet da Matthew Quay som medlem av USAs senat. Han ble valgt inn på nytt i 1905 og satt en hel periode til 1909.