Su padre, John Byron, falleció en 1791 en la localidad de Valenciennes (Francia) cuando George tenía tres años.