Davis gjorde sin film-debut i 1950 i regissør Sidney Poitier sin filmen No Way Out. Davis fant anerkjennelse sent i livet ved å arbeide i flere av regissør Spike Lee sine filmer, inkludert , og . I 1948 giftet Davis seg med skuespillerinnen Ruby Dee. I deres felles selvbiografi With Ossie and Ruby, beskrev de sin beslutning om å ha et åpent ekteskap. Deres sønn Guy Davis er en blues-musiker og tidligere skuespiller, som dukket opp i filmen Beat Street og i såpeoperaen One Life to Live.