Cavendish wurde 2004 zusammen mit Ed Clancy Zweiter im Madison der britischen Meisterschaften. Ein Jahr später (2005) wurde er Dritter im Scratch. Außerdem wurde er im selben Jahr Europameister im Punktefahren. Bei den UCI-Bahn-Weltmeisterschaften 2005 in Los Angeles gewann er zusammen mit Rob Hayles die Goldmedaille im Madison. Bei den Weltcuprennen in Sydney und Manchester schaffte er es je zweimal aufs Podium. Beim Scratch-Rennen der Commonwealth Games 2006 holte er sich einen weiteren bedeutenden Sieg.