Bei den Kongresswahlen des Jahres 1972 wurde Gilman im 26. Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 3. Januar 1973 die Nachfolge von Ogden R. Reid antrat. Nach 14 Wiederwahlen konnte er bis zum 3. Januar 2003 insgesamt 15 Legislaturperioden im Kongress absolvieren. Diese waren im Jahr 1974 von der Watergate-Affäre überschattet. In seine Zeit als Kongressabgeordneter fielen auch die Terroranschläge am 11. September 2001 und der Beginn des Irakkrieges. Zwischen 1995 und 2001 war Gilman Vorsitzender des Auswärtigen Ausschusses. Bis 1983 vertrat er noch den 26. Wahlbezirk, dann wechselte er in den 22. und 1993 schließlich in den 20. Distrikt. In den Jahren 1996 und 2000 nahm er als Delegierter an den jeweiligen Republican National Conventions teil. 2002 verzichtete er auf eine weitere Kandidatur. Zum Zeitpunkt seines Ausscheidens war er der älteste Abgeordnete des Repräsentantenhauses.