Rudin nasceu numa família judia na Áustria, em 1921. Após o Anschluss em 1938 fugiu para a França. Após esta ter-se rendido aos alemães em 1940, Rudin fugiu para a Inglaterra e serviu a marinha britânica até o fim da Segunda Guerra Mundial. Após a guerra foi para os Estados Unidos, obtendo o doutorado na Universidade Duke, em 1949. Foi depois instrutor Moore no Instituto de Tecnologia de Massachusetts, sendo depois professor da Universidade do Wisconsin-Madison, onde lecionou 32 anos.