Shulman begynte sin profesjonelle musikalske karriere sammen med Pete O'Flaherty, Eric Hine, Tony Ransley og sine brødre Ray og Phil i rhythm and blues-/soul-/popbandet The Howling Wolves, som skiftet navn til The Road Runners og som i 1966 ble til Simon Dupree and the Big Sound. Bandet ble kjent etter utgivelsen av psykedelisk rock-singelen «Kite» høsten 1967, men etter flere utgivelser der de opplevde en begrenset kommersiell suksess, løste de opp bandet i 1969. Shulman-brødrene var ikke interssert i å bli presset til å stadig måtte skrive flere hit-låter. De grunnla Gentle Giant sammen med gitaristen Gary Green, keyboardisten Kerry Minnear og trommeslageren Martin Smith. Sistnevnte ble siden erstattet av Malcolm Mortimore, som igjen ble erstattet av John Weathers.