Wyler estuvo casado durante un breve periodo con Margaret Sullavan (25 de noviembre de 1934 a 13 de marzo de 1936); su matrimonio con Margaret Tallichet, desde el 23 de octubre de 1938 hasta su muerte, fue un éxito y tuvieron cuatro hijos.