Mumy ble født og vokste opp i San Gabriel i California, som sønn av Muriel Gertrude Gould og Charles William Mumy, Sr., en kvegfarmer. Ulik mange andre barneskuespillere, ble Mumy skuespiller fordi han ville det, og foreldrene hans sørget for at han vokste opp skikkelig, trass i jobben. Hans far investerte sønnens inntekter, og han unngikk derfor problemene som andre unge skuespillere, for eksempel Charles Herbert, fikk i denne perioden.