Davis syntyi Chicagossa Romaniasta muuttaneen räätälin perheeseen. Hän osallistui toiseen maailmansotaan länsirintamalla ja näytteli teatterissa sekä radion saippuaoopperoissa jo nuorena, mutta työmahdollisuuksien heikennyttyä hän otti vastaan työn apteekkitavaran tukkuliikkeessä. Davis esiintyi edelleen teatterissa silloin tällöin, mutta palasi näyttelemisen pariin toden teolla vasta vuonna 1976, lähes 60-vuotiaana, saatuaan potkut töistään. Seuraavien 30 vuoden aikana hän esiintyi monissa rooleissa niin teatterissa, televisiossa kuin elokuvissakin.