Den 4. august 2004 ble det rapportert at Taylor hadde sparket agentene sine, Eugene Mato og Jeff Moorad, da han var misfornøyd med kontrakten. Han sparket dem etter at de andre ni spillerne valgt først i draftet signerte sine kontrakter, som han mente var mye bedre sammenlignet med hans egne. Dette var den andre gangen han sparket sin agent på fem måneder, etter at han sa opp Drew Rosenhaus to dager før NFLs draft. Han ansatte Rosenhaus på ny, som forble agenten hans ut karrieren. Taylor hadde også en hendelse hvor han forlot NFLs Rookie Symposium tidlig, som var obligatorisk for spillere som kom fra draftet og varte over fire dager. Han forlot etter den første dagen, men deltok i de to siste etter press fra Redskins' administrasjon. Over hans tre første sesonger ble Taylor også bøtelagt minst syv ganger for sene taklinger, brudd på uniformreglement og andre regelbrudd.