Paget nació em Great Yarmouth, Inglaterra, el 11 de enero de 1814, hijo de un cervecero y naviero, y uno de una familia grande, su hermano George, fue Profesor Real de Medicina de Cambridge en la Universidad homónima en 1872, y también hizo una distinguida carrera en medicina siendo un K.C.B.