Charles er vokst opp i Brooklyn, New York. Han begynte sin karriere som stand-up-komiker i New York på 1970-tallet, men sluttet med dette da han fikk jobb som manusforfatter i tv i 1980. I sketsjeprogrammet møtte han for første gang Larry David, mannen som senere skulle stå bak og der Charles skulle ende opp med å jobbe.