Ganwyd Robert Williams yn 1830, yn Tŷ'n yr Ardd ym mhentref bach Llanrhychwyn, yn y bryniau i'r gorllewin o bentref Trefriw, yn fab i Robert ac Ann Williams. Teiliwr wrth ei grefft oedd y tad. Yn fuan ar ôl ei eni symudodd y teulu i fwthyn arall yn yr un pentref, Ty'n y Coed.