Dallas ble født på Jamaica, men flyttet sammen med foreldrene til Skottlands hovedstad Edinburgh da han var fem år gammel. Derifra flyttet han videre med familien til London og forsøkte å studere rettsvitenskap, men med begrensede midler måtte han gi opp. Dallas giftet seg i 1780 med Arabella Maria Smith fra Pennsylvania, og året etter flyttet de tilbake til Jamaica hvor han lyktes å bli advokat takket være farens kontakter. På grunn av helsetilstanden til Arabella Maria flyttet de nordover til USA og Philadelphia i 1783.