I februar 1903 ble Cartelyou utnevnt til landets første sekretær av United States Department of Commerce and Labor, en stilling han hadde frem til juni 1904. Et år etter dette fikk han tildelt vervet som generalpostmester (Postmaster General), som var øverste sjef for det amerikanske postverket United States Postal Service. I 1907 ble han av Roosevelt utnevnt til finansminister i finansdepartementet, en stilling han hadde frem til 1909. I denne perioden var han også formann i Republican National Committee, hvor han arbeidet for renomineringen av Roosevelt.