Blossom ble uteksaminert fra Asheville School i 1941 og begynte deretter ved Harvard University. Han hadde flere teaterroller i løpet av 1950-årene, og vant Obie-prisen fire ganger. I løpet av 1960-tallet dannet han teatergruppen Filmstage. I Our Town i 1959 er han for første gang å se i en film. Blossom hadde en rolle i den Oscar-vinnende dramafilmen The Great Gatsby i 1974, der han blant annet spilte mot Robert Redford.