William Adams Richardsons far var Daniel Richardson som virket som advokat og bestyrte hjemstedets postkontor. Moren var Mary Adams fra Chelmsford. Richardson-linjen nedstammet fra Ezekiel Richardson som var en av innvandrerne som slo seg ned i Massachusetts Bay i 1630.