Cuarto hijo del teniente coronel George Gough y Leticia Bunbury, Gough fue comisionado a la milicia en Limerick el 7 de agosto de 1793. Fue transferido a un regimiento local el 7 de agosto de 1794. Ascendido a teniente en el "119° Regimiento de a pie" el 11 de octubre de 1794 y transferido al "78° Regimiento de a pie" el 6 de junio de 1795. Participó en la captura del Cabo de Buena Esperanza en septiembre de 1795 durante las Guerras revolucionarias francesas. Fue transferido al "87° Regimiento de a pie" en diciembre de 1795, antes de ser desplegado con su regimiento en las Indias Occidentales Británicas y participar en la expedición a la Guayana Neerlandesa en 1799. Tras regresar a Inglaterra fue ascendido a capitán del "2° Batallón" de su regimiento el 25 de junio de 1803 y a comandante del mismo batallón el 25 de junio de 1803.