La familia de Barry ha estado involucrada en el negocio del cine, pero fue durante su Servicio Nacional en el ejército británico que empezó a desempeñarse como músico (tocando la trompeta), después de tomar un curso por correspondencia (con el compositor de Jazz, Bill Russo) y trabajar como arreglista para varias de las bandas musicales de aquel entonces, cuando formó su propio grupo, The John Barry Seven; fue ahí en donde conoció al compositor Adam Faith, y junto a ellos compuso canciones y piezas para varias películas.