Hennes første rolle var som Marjorie i filmen fra 1951. Året etter hadde hun rollen som Tracy McAuliffe i filmen . Fra 1960 til 1962, hadde Avery rollen som Anne Selby i såpeoperaen The Clear Horizon på CBS, en historie om amerikanske astronauter og deres koner. På 1980-tallet, pensjonerte Avery seg fra skuespiller-yrket og begynte som eiendomsmegler i Los Angeles. Hun kom tilbake til skuespilleryrket på 1990-tallet med en opptreden i filmen, Made in America (1993). Fra 1944 til 1955, var Avery gift med skuespiller Don Taylor. Paret fikk to døtre, Anne Taylor Fleming og Avery Taylor Moore. Phyllis Avery døde 19. mai 2011 av hjertesvikt, da hun var 88 år gammel.