Tavernier ble en del av Leeds Uniteds ungdomssystem i en alder av ni, og spilte for Leeds i seks sesonger før han flyttet til Newcastle United. Han debuterte på reservelaget i 2008, og 22. september 2009 debuterte han for førstelaget i en ligacupkamp mot Peterborough United.