Von 1982 bis 1991 war er Abgeordneter im Repräsentantenhaus von Virginia. Von 1991 bis 1993 vertrat Allen den 7. Kongresswahlbezirk des Staates Virginia im Repräsentantenhaus der Vereinigten Staaten. Bei der Wahl im November 1993 wurde er zum Gouverneur von Virginia gewählt nahm dieses Amt von 1994 bis 1998 wahr. Eine Wiederwahl ist in Virginia durch Gesetz ausgeschlossen. Bei der Senatswahl 2000 schlug er Chuck Robb, den Schwiegersohn des ehemaligen Präsidenten Lyndon B. Johnson, und zog zum 3. Januar 2001 in den Senat der Vereinigten Staaten ein. Sein Mandat endete am 3. Januar 2007, nachdem er die Senatswahl am 7. November 2006 äußerst knapp gegen den demokratischen Herausforderer Jim Webb verlor. Vor der verlorenen Senatswahl galt Allen neben John McCain als einer der aussichtsreichsten Kandidaten der Republikaner für die Präsidentschaftswahl 2008. Bei der Wahl 2012 bewarb er sich erneut um seinen ehemaligen Senatssitz, verlor aber gegen den Demokraten Tim Kaine.