Woolley forlot sin akademiske karriere, og begynte å opptre på Broadway i 1936. Sammen med Clifton Webb, signerte Woolley en kontrakt med 20th Century Fox i 1940. I en alder av 50 år, oppnådde Woolley ett av sine mål om å oppnå stjernestatus som skuespiller. Mye av denne statusen hadde han fått for rollen i filmen (1942), som også ble oppsatt på Broadway-teateret. Woolleys karakteristiske hvite skjegg var hans mest brukte varemerke som skuespiller. Etter å ha fullført sin siste film, (1955), var han med på radio i omtrent ett år, etter at han ble tvunget til å trekke seg på grunn av skrantende helse.