12个孩子里排名第5，但却是唯一一个长大成年的孩子。他的父亲菲利普是一名公证人，母亲多萝西是一名女帽商。他的父亲精神有问题，后来其母带他离家出走。他曾就读于伊顿公学，在那里结识了好友贺拉斯·沃波尔（首相罗伯特·沃波尔之子）等。1734年，他入读剑桥大学彼得学院，1738年和贺拉斯一起前往欧洲壮游。他在1742年开始正式从事诗歌写作，后来先后成为剑桥大学彼得学院和剑桥大学彭布罗克学院成员。1762年，剑桥大学现代史钦定讲座教授特纳（Shallet Turner）去世，格雷的朋友们想游说政府将该职位