Sachverhalt:
A. Der X._ (Beschwerdeführer) ist ein türkischer Fussballklub mit Sitz in B._, Türkei. Der Fussballspieler A._ (Beschwerdegegner) stand mit dem Beschwerdeführer in einer vertraglichen Beziehung.
In einem Entscheid vom 8. Juni 2007 verurteilte die "FIFA Dispute Resolution Chamber" den Beschwerdeführer, dem Beschwerdegegner USD 394'242.-- zu bezahlen.
B. B.a Gegen diesen Entscheid legte der Beschwerdeführer am 31. Oktober 2007 beim Tribunal Arbitral du Sport (TAS) einen "Appeal" ein. Die entsprechende Eingabe war überschrieben mit "demande d'arrestation d'application du jugement".
Am 9. November 2007 setzte das TAS dem Vertreter des Beschwerdeführers Frist bis 15. November 2007, um den "Appeal" den formellen Voraussetzungen anzupassen, ansonsten dieser als zurückgezogen betrachtet werde.
Nachdem der Beschwerdeführer innert Frist dieser Aufforderung nicht nachgekommen war, teilte der Generalsekretär des TAS dem Vertreter des Beschwerdeführers mit Schreiben vom 23. November 2007 mit, dass der "Appeal" des Beschwerdeführers gegen den Entscheid der "FIFA Dispute Resolution Chamber" vom 8. Juni 2007 als zurückgezogen gelte und kein Verfahren vor dem TAS eröffnet werde.
B.b Am 25. Januar 2008 gelangte der neue Vertreter des Beschwerdeführers an das TAS und machte geltend, das Schreiben des TAS vom 9. November 2007 sei an eine falsche Faxnummer übermittelt worden und demzufolge dem Beschwerdeführer nicht zugekommen. Er habe daher von der ihm angesetzten Frist zur Verbesserung des "Appeal" und den angedrohten Folgen im Nichtbeachtungsfall keine Kenntnis erhalten. Er ersuchte deshalb um Wiederaufnahme des Appellationsverfahrens und um Ansetzung einer neuen Frist zur Vervollständigung des "Appeal".
Mit Schreiben vom 4. Februar 2008 bestätigte der Generalsekretär des TAS den Erhalt der Eingabe vom 25. Januar 2008 und antwortete, dass es sich bei der angeblich falschen Faxnummer um eben diese Faxnummer handle, von welcher aus sämtliche Eingaben des Beschwerdeführers an das TAS gefaxt worden seien. Jedenfalls habe der "Appeal" den formellen Anforderungen nicht entsprochen, weshalb - wie mit Schreiben vom 23. November 2007 mitgeteilt - kein Appellationsverfahren habe eröffnet werden können. Da nach R32 der Statuten der Institutionen für die Beilegung von Streitigkeiten im Sportbereich (Statuten) eine Wiederherstellung der Frist für die Einlegung des "Appeal" ausser Betracht falle, könne dem Ersuchen um Wiederaufnahme des Appellationsverfahrens nicht entsprochen werden.
C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, den Entscheid des TAS vom 4. Februar 2008 aufzuheben und das TAS anzuweisen, im Sinne der Erwägungen des Bundesgerichts neu zu entscheiden. Er beruft sich auf <ref-law> (Verletzung des rechtlichen Gehörs) und <ref-law> (Verletzung des formellen Ordre public).
Der Beschwerdegegner beantragt, die Beschwerde abzuweisen. Er legt dar, dass er keine Kenntnis von den Akten habe, da kein Verfahren eröffnet worden sei. Es seien ihm in jedem Fall keine Kosten aufzuerlegen.
Das TAS weist in seiner Vernehmlassung darauf hin, dass es in dieser Sache kein Verfahren eröffnet habe, da der Beschwerdeführer die hierfür geltenden Voraussetzungen nicht erfüllt habe. Dies sei dem Beschwerdeführer mit Schreiben vom 23. November 2007, das dieser erhalten habe, mitgeteilt worden. Das Schreiben vom 4. Februar 2008 sei kein Entscheid des TAS, sondern eine nochmalige Bestätigung an den neuen Vertreter des Beschwerdeführers, dass in dieser Sache kein Verfahren eröffnet worden sei.
D. Mit Präsidialverfügung vom 19. März 2008 wurde das Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1. Unter den Voraussetzungen der Art. 190-192 IPRG ist gegen Entscheide von Schiedsgerichten die Beschwerde in Zivilsachen zulässig (<ref-law>).
Vorliegend ist vorab fraglich, ob das angefochtene Schreiben des Generalsekretärs des TAS vom 4. Februar 2008 überhaupt einen Entscheid darstellt. Mit besagtem Schreiben orientierte der Generalsekretär des TAS den neuen Vertreter des Beschwerdeführers, dass mangels formell zulässigen "Appeal" kein Appellationsverfahren vor dem TAS eröffnet worden war und nach R32 der Statuten eine Wiederherstellung der Appellationsfrist ausgeschlossen ist. Entgegen der Behauptung des Beschwerdeführers beinhaltet dieses Schreiben nicht selbst die Einstellung des Appellationsverfahrens. Die Nichteröffnung eines Appellationsverfahrens wurde vielmehr mit Schreiben vom 23. November 2007 angeordnet und mitgeteilt. Im Schreiben des Generalsekretärs des TAS vom 4. Februar 2008 wurde dagegen über den "Appeal" weder materiell entschieden noch wurde ein Nichteintreten oder die Nichteröffnung eines Verfahrens beschlossen. Es wurde lediglich orientiert, dass Letzteres - wie mit Schreiben vom 23. November 2007 mitgeteilt - bereits erfolgt sei. Das Schreiben des Generalsekretärs des TAS vom 4. Februar 2008 brachte den Beschwerdeführer somit nicht, wie von diesem ausgeführt, um die Beurteilung seines Rechtsbegehrens. Es stellt demnach insofern keinen anfechtbaren Entscheid eines Schiedsgerichts dar, weshalb auf die dagegen gerichteten Vorbringen nicht eingetreten werden kann.
Hätte sich der Beschwerdeführer gegen die Nichtbehandlung seines "Appeal" wehren und die Ansetzung einer neuen Frist für die Verbesserung des "Appeal" verlangen wollen, hätte er dies gegebenenfalls mit einer Beschwerde gegen die Mitteilung vom 23. November 2007 tun müssen, mit der festgehalten wurde, dass der "Appeal" zufolge verpasster Frist zur Verbesserung als zurückgezogen gelte und kein Verfahren eröffnet werde. Dieses Schreiben wurde mittels Fax und DHL (privater Postdienst) übermittelt. Es ging dem damaligen Vertreter des Beschwerdeführers zugestandenermassen zu. Dagegen hat er jedoch kein Rechtsmittel ergriffen.
2. Soweit im Schreiben des Generalsekretärs des TAS vom 4. Februar 2008 die Abweisung eines Gesuchs des Beschwerdeführers um Wiederherstellung der Appellationsfrist zu erblicken ist, kann es als anfechtbarer Endentscheid betrachtet werden (vgl. Urteil 5A_729/2007 vom 29. Januar 2008, E. 1).
Der Beschwerdeführer bringt jedoch spezifisch dagegen nichts vor. Zu Recht, schliesst doch R32 Abs. 2 der Statuten eine Wiederherstellung der Appellationsfrist aus. Die Neuansetzung der mit dem angeblich nicht erhaltenen Schreiben vom 9. November 2007 angesetzten Frist zur Verbesserung des "Appeal" hätte der Beschwerdeführer hingegen, wie bereits ausgeführt (Erwägung 1), im Rahmen einer Beschwerde gegen das Schreiben vom 23. November 2007 geltend machen müssen.
3. Auf die Beschwerde kann nicht eingetreten werden. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 7'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 8'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Tribunal Arbitral du Sport (TAS) schriftlich mitgeteilt.
Lausanne, 9. Mai 2008
Im Namen der I. zivilrechtlichen Abteilung des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Corboz Sommer