Holland har studert ved Guildhall School of Music and Drama og spilte først med Alexis Korner, deretter som en husbassist på Ronnie Scott's Jazz Club i London, men utforsket også Free Jazz i med John Stevens og Trevor Watt. Senere kom Miles Davis til ham etter at han hadde hørt ham spilte live på Ronnie Scott's Club. Han inviterte Holland til Amerika, der han slo seg ned etter det. Holland fortsatte til New York City, der han først av alt møtte Herbie Hancock, Davis' tidligere pianist, som igjen bragte ham til Miles Davis. Gjennom sin deltakelse på albumet Bitches Brew var Holland deretter internasjonalt kjent.