Hans scenenavn sies å ha oppstått blant annet for i den tiden han drev på med vaudeville at han bar pengene sine i en bag rundt nakken, kjent som en «grouch bag». En alternativ historie for scenenavnet er at han var kjent for å være «grouchy», det vil si gretten og grinete. Komikeren selv har skrevet at han egentlig ikke kjenner til opprinnelsen, men i sin selvbiografi setter han på trykk at det i alle fall ikke var på grunn av noe «grouch bag».