Hierna volgden minder succesvolle jaren. Voor de WK van 2003 in Parijs wist hij zich niet te kwalificeren, waarna zijn poging om op de Olympische Spelen van 2004 in Athene zijn titel op de 400 m horden te verdedigen, mislukte; hij werd in de halve finale uitgeschakeld.Wat volgde waren een paar zwarte bladzijden in de loopbaan van Angelo Taylor. In november 2004 werd hij gearresteerd door de politie, naar verluidt terwijl hij seks had in een geparkeerde auto met een vijftienjarig meisje, dat gezegd had dat ze meerderjarig was. Later werd hij opnieuw gearresteerd voor hetzelfde vergrijp. In januari 2006 werd hij veroordeeld tot een boete van 2500 dollar voor het hebben van seks met minderjarige meisjes en voor drie jaar voorwaardelijk op vrije voeten gesteld.