Vail besuchte zunächst vorbereitende Schulen und dann die "Morristown Academy". Danach stellte er Instrumente für den Telegraphendienst her. Gleichzeitig begann er als Mitglied der Demokratischen Partei eine politische Laufbahn. In den Jahren 1843 und 1844 war er Abgeordneter in der New Jersey General Assembly. Im Jahr 1851 vertrat er den Staat New Jersey auf der Weltausstellung in London. 1850 kandidierte er noch erfolglos für den Kongress. Bei den Kongresswahlen des Jahres 1852 wurde Vail dann im vierten Wahlbezirk von New Jersey in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1853 die Nachfolge von George Houston Brown antrat. Nach einer Wiederwahl konnte er bis zum 3. März 1857 zwei Legislaturperioden im Kongress absolvieren. Diese waren von den Ereignissen im Vorfeld des Bürgerkrieges geprägt.