В. Г. Ф. Талбот народився в маєтку свого діда по матері графа Айлчестера. Батьки Талбота були великими землевласниками, сильно розбагатіли під час війни Англії з Францією у 1793—1815 рр. Його батько Вільям Талбот був власником абатства Лакок і кавалерійським офіцером. Він помер, коли його синові було всього 6 місяців. Через кілька років після цього, залишивши хлопчика на піклування своїх батьків, поїхала його мати: вона вдруге вийшла заміж.