Vydra startet sin fotballkarriere med ungdomsfotball hos FC Chotěboř før han i 2003 meldte overgang til FC Vysočina Jihlava. I 2008 ble han hentet opp til førstelaget, hvor han noterte seg for fem scoringer på 27 seriekamper frem til årskiftet 2009/2010. I januar 2010 ble han solgt til FC Baník Ostrava for 20 millioner CZK. Her tilbragte han kun seks måneder og spilte 14 seriekamper før han i juni 2010 meldte overgang til den italienske klubben Udinese Calcio.