На свою первую государственную должность он был выбран в возрасте 23 лет, когда в 1774 году округ Ориндж учредил нелегальный комитет для координации сопротивления против ужесточающегося колониального господства Великобритании. В 1775 году Мэдисон становится председателем комитета безопасности в округе Ориндж. В июне 1776 года Мэдисон представлял свой округ в революционном Конгрессе, который ввёл в силу эпохальную декларацию основных прав и первую республиканскую конституцию Виргинии, ещё до того, как Континентальный конгресс провозгласил независимость. В предвыборной борьбе за место в новой палате депутатов Виргинии в 1777 году Мэдисон проиграл, якобы потому, что отказался выставить традиционную бочку водки гражданам, не побоявшимся трудностей пути к избирательному участку. Вместо этого законодательные органы выбрали его на два года в совет губернатора Виргинии (1777—1779) и потом послали до 1783 года, а позже ещё раз в 1786 — 88 гг. в Конгресс конфедераций. Мэдисон безуспешно предлагал Конгрессу создать источник доходов, независимый от добровольных платежей отдельных штатов. Избранный делегатом Континентального конгресса (1780—1783), он выступал за создание сильного центрального правительства, на созыве Аннаполийского конгресса, на котором было принято решение разработать новую Конституцию США. Разочарованный медлительностью и некомпетентностью Конгресса конфедераций перед лицом настоятельных потребностей войны и её финансирования, он в 1783 году вернулся в Виргинию.