Aunque Dylan aseguró que «With God on Our Side» es una composición propia, la melodía de la canción guarda similitudes con «The Patriot Game», cuya melodía deriva de la canción tradicional irlandesa «The Merry Month of May».