Gregory ble født i Aberdeen i Skottland, som sønn av professor i medisin James Gregorie og Anna Chalmers, hans fars andre hustru. Han var også sønnesønn av James Gregory, astronomen og matematikeren. Hans far døde da han var 8 år gammel og fra da av tok hans bestefar på morsiden og hans eldre halvbror, James, også professor i medisin, over hans oppdragelse og utdannelse. Hans fetter Thomas Reid, en moralfilosof, hadde også innflytelse på hans utdannelse.