Calvert ble født 23. juli 1921 i Conestoga i Brooklyn i New York. Sønn av Calvert DeForest, som var doktor, som døde i 1949, og Mabelle Taylor, som døde i 1961.