I 1914 stilte Colby til valg som guvernør i New York på vegne av det progressive partiet, men tapte til fordel for den republikanske James Wolcott Wadsworth jr. Han stilte til valg for den samme posisjonen i 1916 med støtte både fra det progressive partiet og det uavhengige partiet, men tapte også dette valget til fordel for republikanske William M. Calder. Colby ble deretter utnevnt til spesialmedarbeider for justisminister Thomas Watt Gregory for arbeid med antitrust i 1917, og representerte siden USA i de allierte statenes konferanse i Paris samme år.