Sachverhalt: A. A.a Der Club X._ (Beschwerdeführer) ist ein Fussballclub mit Sitz in A._ (Italien). Er ist Mitglied des italienischen Fussballverbandes, der seit 1905 der Fédération Internationale de Football Association (FIFA), einem Verein schweizerischen Rechts (Art. 60 ff. ZGB) mit Sitz in Zürich, angehört. Der Club Y._ (Beschwerdegegner) ist ein Fussballclub mit Sitz in B._ (Honduras). Er ist Mitglied des honduranischen Fussballverbandes, der seit 1946 der FIFA angehört. A.b Im Mai 1999 gelangten die Parteien via den Spielervermittler C._ in Kontakt. Dabei ging es um den Transfer des honduranischen Fussballspielers D._ vom Beschwerdegegner zum Beschwerdeführer. Am 1. Juni 1999 fanden diverse Treffen zwischen C._, dem Fussballspieler und dessen Agenten E._, dem sportlichen Direktor des Beschwerdegegners F._ und dem Präsidenten des Beschwerdeführers G._ statt. Anlässlich der dabei geführten Verhandlungen kam ein vom 1. Juni 1999 datierendes Agreement mit folgendem Wortlaut zustande: "AGREEMENT Between X._, And Club Y._ Regarding the transfer of the player Mr. D._ by mean of this document. 1) X._ will pay to the club Y._ the total sum of 2,200,000 USD (...). [...] (c) Club Y._ will immediately send the transfer of the player as soon it will receive the total sum guarantee in the form of a stand-by-letter of credit in the name of Club Y._ to be confirmed by Banco H._ that will be issued the 30th July 1999 by Banco I._ on behalf of X._ (2) In case of a future transfer of the player from X._ to a third club, and in case that the revenue will be superior of the sum paid to the Club Y._ as a transfeer fee (...), X._ will pay to the Club Y._ the following royalties calculated on the difference between the sum of point A)a) and the sum received by the other club: a) 20 % (twenty percent) if the transfer will be less of 7,000,000 USD (seven millions US Dollars); b) 15 % (fifteen percent) if the transfer will be major of 7,000,000 USD (seven millions US Dollars)." Die Vertragsurkunde trägt die Unterschriften von G._ für den Beschwerdeführer und von K._ für den Beschwerdegegner. A.c Am 26. Juni 2007 schlossen der Beschwerdeführer und der italienische Fussballclub L._ einen Vertrag über den Transfer von D._ für eine Transfersumme von 14 Mio. Euro ab. In der Folge machte der Beschwerdegegner gegenüber dem Beschwerdeführer gestützt auf das Agreement vom 1. Juni 1999 eine Zahlung von mindestens USD 2'514'723.-- aufgrund des Transfers von D._ an den L._ geltend. Dem hielt der Beschwerdeführer entgegen, dass die Vertragsurkunde, auf der das Agreement vom 1. Juni 1999 festgehalten ist, gefälscht und das Agreement somit ungültig sei. B. B.a Mit Klage vom 1. November 2007 beantragte der Beschwerdegegner der FIFA, es sei der Beschwerdeführer zur Zahlung eines Betrages von mindestens USD 2'514'723.-- zu verurteilen. Mit Entscheid vom 22. März 2010 hiess der Einzelrichter der FIFA Kommission für den Status von Spielern die Klage gut und verurteilte den Beschwerdeführer zur Zahlung von USD 2'514'723.-- an den Beschwerdegegner. B.b Dagegen erhob der Beschwerdeführer am 9. August 2011 Berufung beim Tribunal Arbitral du Sport (TAS) in Lausanne. Er beantragte, es sei der Entscheid des Einzelrichters der FIFA Kommission für den Status von Spielern aufzuheben und die Klage des Beschwerdegegners abzuweisen. Mit Schiedsentscheid vom 15. September 2011 (CAS 2010/A/2193) wies das TAS die Berufung ab und bestätigte den Entscheid des Einzelrichters der FIFA Kommission für den Status von Spielern. Das TAS kam zum Schluss, dass das Agreement vom 1. Juni 1999 echt und damit gültig sei. C. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, es sei der Schiedsentscheid vom 15. September 2011 (CAS 2010/A/2193) aufzuheben und es sei die Streitsache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Der Beschwerdegegner beantragt in seiner Vernehmlassung die Abweisung der Beschwerde. Die Vorinstanz hat auf Vernehmlassung verzichtet. Die Parteien reichten Replik und Duplik ein. Die Akten des Schiedsverfahrens wurden beigezogen.