Baillie creció con una muy buena relación con su hermana, Agnes (1760-1861), y su hermano, Mateo Baillie (1761-1823), quien se convertiría en un médico famoso en Londres.