Батьки Гая регулярно спілкувалися з Англіканською Церквою, як і його бабуся та дідусь по батькові; його бабуся, Елен Гаррінгтон, була дочкою видатного купця, який служив лордом мера Йорка у 1536 році. Сім'я матері Гая була рекузантами, а його двоюрідний брат Річард Каулінг став священником єзуїтів. Ім'я Гай було рідкісним для Англії того часу, але, можливо, було популярним в Йорку завдяки місцевому знатному серу Гаю Ферфаксу зі Стітона.