Frosts mor, Sara døde tidlig, og han ble oppdratt av sine besteforeldre. Han ble senere lærling som skomaker hos sin bestefar og dro hjemmefra i en alder av seksten år for å bli skredderlærling, først i Cardiff, så Bristol og senere London. Han vendte tilbake til Newport i 1806 for å starte sin egen bedrift, ble vellykket. Han giftet seg med en enke, Maria Geach i 1812, og i løpet av elleve år fikk de åtte barn. Han ble avholdt og aktet for sin tiltalende karakter, rettferdighetssans, u-selviskhet, prinsippfasthet og sitt demokrstiske syn.