Für die USA nahm Frazier an den Olympischen Winterspielen 1932 in Lake Placid teil, bei denen er mit seiner Mannschaft die Silbermedaille gewann. Bei der Weltmeisterschaft 1931 gewann er mit den USA ebenfalls die Silbermedaille.