Dylan afirma que "With God on Our Side" es una composición enteramente original, sin embargo, su melodía se asemeja a "The Patriot Game", una canción escrita por Dominic Behan y con la melodía de la tradicional canción irlandesa "The Merry Month of May".