Z filmem zaczął pracować w 1933 początkowo jako montażysta dźwięku i obrazu. W 1942 został nominowany do Nagrody Akademii Filmowej za montaż filmu "Obywatel Kane". W 1944 zadebiutował jako reżyser filmem "The Curse of the Cat People". Największymi sukcesami Wise było wyreżyserowanie w 1962 uhonorowanego 10 Oscarami musicalu "West Side Story" oraz nagrodzonego 5 Oscarami filmu "Dźwięki muzyki".