世和詹姆斯二世的直系后裔。他的父亲达尔多维的乔治·博格尔在苏格兰同商界及政府的精英们有广泛的社会联系，贸易联系遍及整个大英帝国。 他出生于1746年，是三兄弟中最小的一个。他的哥哥约翰·博格尔最终在弗吉尼亚开设种植园，而他的另一位兄弟罗伯特·博格尔在伦敦商业冒险（开设进口商号“博格尔和斯科特（Bogle and Scott）”）失败之后，在格林纳达建立了棉花种植园。他的这两个兄弟都密切参与了黑奴三角贸易。他的四个姐妹都同她们一家所属的绅士阶层的贸易商、领主和律师结婚。母亲去世时，乔治·博格尔年仅13岁。