I 1968 fikk Jones jobben som bassist i Jimmy Pages nye band som fikk navnet Led Zeppelin. Mens Page, Robert Plant og John Bonham fikk mesteparten av oppmerksomheten på scenen, holdt Jones seg i bakgrunnen og konsentrerte seg om spillingen.