Aunque Dylan reclama que es una composición original, la melodía de "With God on Our Side porta una llamativa semejanza con "The Patriot Game", letra que fue escrita por Dominic Behan y la melodía prestada de la canción Irlandesa tradicional, "The Merry Month of May".