Kohn begynte yrkeskarrièren ved Federal Reserve Bank of Kansas City i 1970. Han har med tiden gått gradene i Federal Reserve, og var blant annet sekretær for Federal Open Market Committee i perioden 1987 til 2002. Han ble styremedlem i 2002, og ble foreslått som visestyreformann i mai 2006 av president George W. Bush. Senatet godkjente raskt kandidaturet, og Kohn gikk inn en fireårsperiode som nestsjef i den 23. juni 2006.