Von 1924 bis 1927 war Sheffield an der Yale Law School und wurde dann Anwalt in New York City. Neben seiner Kanzlei war Sheffield auch ehrenamtlich tätig. So war er 1940 Beauftragter der Vereinigten Staaten bei der Weltausstellung in New York. Von 1966 bis zu seinem Tod war er Aufsichtsratsvorsitzender der Carnegie-Stiftung.