Su padre, el reverendo James Baillie (c.1722-1778), era un ministro presbiteriano y, durante los dos años anteriores a su muerte, profesor en la Universidad de Glasgow.