По его собственному признанию, кто именно представлял Делавера (если это был федералист) имело небольшое значение, поскольку эта была партия меньшинства. Как и многие товарищи по партии, Бейард выступал против «войны мистера Мэдисона», так как иногда называлась война 1812-1815 гг., но, как и члены Демократическо-республиканской партии, он был возмущен действиями британцев в открытом море и признал необходимость действий со стороны США. По мере того, как вероятность войны возрастала, он призывал к осторожности, думая о недостаточной готовности военных и особенно об уязвимости побережья штата Делавэр. 17 июня 1812 года он был одним из 13 сенаторов, проголосовавших против объявления войны. Однако, как только она началась, он наряду со всеми федералистами штата Делавэр искренне поддержал свою страну, избежав тем самым клейма подозрений в измене, которое лежало на федералистах в Новой Англии.