Sachverhalt:
Sachverhalt:
A. Der 1965 geborene J._ erlitt am 24. Dezember 1996 einen Autounfall, bei welchem er sich gemäss ärztlichen Feststellungen ein Distorsionstrauma der Halswirbelsäule (HWS) zuzog. In der Folge war er nach den medizinischen Akten zunächst zu 100 % und anschliessend zu 50 % arbeitsunfähig. Ab 10. Juni 1997 bestand volle Arbeitsfähigkeit, und der Versicherte bezog dementsprechend Arbeitslosenunterstützung. Anschliessend übte er vom 10. Juni 1998 bis 31. Juli 1999 eine Vollzeitbeschäftigung als Koch/Pizzaiolo im Restaurant Y._ aus. Nach zwischenzeitlicher Arbeitslosigkeit (mit Vermittlungsfähigkeit für ein Vollzeitpensum) arbeitete er ab Juni 2000 zu 50 % im Restaurant Z._. Seit 1. Mai 2001 ist er mit einem Pensum von rund 50 % als Koch im Café W._ angestellt.
Am 20. August 1999 meldete sich der Versicherte bei der Invalidenversicherung zum Leistungsbezug (Rente) an. Die IV-Stelle des Kantons Aargau zog die Akten des obligatorischen Unfallversicherers "Zürich" Versicherungs-Gesellschaft (nachfolgend: Zürich) bei und führte eigene Abklärungen durch. Nach Vorliegen eines durch die Zürich veranlassten Gutachtens der Klinik X._ vom 23. April (richtig wohl: Juni) 2002 führte sie das Vorbescheidverfahren durch, in dessen Verlauf der Versicherte ein Schreiben des Dr. med. Z._, Leiter Neurorehabilitation der Klinik X._ und Verfasser des erwähnten Gutachtens, vom 9. Januar 2003 einreichen liess. Anschliessend verneinte die Verwaltung mit Verfügung vom 4. Februar 2003 einen Leistungsanspruch. Daran hielt sie auf Einsprache hin mit Entscheid vom 28. Mai 2003 fest.
Am 20. August 1999 meldete sich der Versicherte bei der Invalidenversicherung zum Leistungsbezug (Rente) an. Die IV-Stelle des Kantons Aargau zog die Akten des obligatorischen Unfallversicherers "Zürich" Versicherungs-Gesellschaft (nachfolgend: Zürich) bei und führte eigene Abklärungen durch. Nach Vorliegen eines durch die Zürich veranlassten Gutachtens der Klinik X._ vom 23. April (richtig wohl: Juni) 2002 führte sie das Vorbescheidverfahren durch, in dessen Verlauf der Versicherte ein Schreiben des Dr. med. Z._, Leiter Neurorehabilitation der Klinik X._ und Verfasser des erwähnten Gutachtens, vom 9. Januar 2003 einreichen liess. Anschliessend verneinte die Verwaltung mit Verfügung vom 4. Februar 2003 einen Leistungsanspruch. Daran hielt sie auf Einsprache hin mit Entscheid vom 28. Mai 2003 fest.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 6. April 2004).
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 6. April 2004).
C. Mit Verwaltungsgerichtsbeschwerde lässt J._ das Rechtsbegehren stellen, es sei ihm eine Dreiviertels-Invalidenrente zuzusprechen.
Die IV-Stelle - unter Verweis auf den kantonalen Entscheid - und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Gericht hat die bis 31. Dezember 2002 gültig gewesenen Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law>), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG), die Bestimmung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>; <ref-ruling> Erw. 1, 104 V 136 f. Erw. 2a und b) und die Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 4 mit Hinweisen; vgl. auch AHI 2002 S. 70 Erw. 4b/cc) zutreffend dargelegt. Darauf wird verwiesen. In übergangsrechtlicher Hinsicht ist zu präzisieren, dass die am 1. Januar 2004 - und somit nach dem Erlass des Einspracheentscheides vom 28. Mai 2003 - in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 (4. IVG-Revision) und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 keine Anwendung finden (vgl. <ref-ruling> Erw. 1.2 mit Hinweis). Das seit 1. Januar 2003 geltende Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 brachte hinsichtlich der invalidenversicherungsrechtlichen Invaliditätsbemessung keine substanziellen Änderungen gegenüber der bis zum 31. Dezember 2002 gültig gewesenen Normenlage (noch nicht in der Amtlichen Sammlung veröffentlichtes Urteil A. vom 30. April 2004, I 626/03), sodass die zur altrechtlichen Regelung ergangene Judikatur weiterhin massgebend ist. Bei dieser Rechtslage kann offen bleiben, ob der Rentenanspruch integral dem ATSG untersteht oder ob für die Zeit bis 31. Dezember 2002 altes und ab 1. Januar 2003 neues Recht massgeblich ist.
1. Das kantonale Gericht hat die bis 31. Dezember 2002 gültig gewesenen Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law>), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG), die Bestimmung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>; <ref-ruling> Erw. 1, 104 V 136 f. Erw. 2a und b) und die Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 4 mit Hinweisen; vgl. auch AHI 2002 S. 70 Erw. 4b/cc) zutreffend dargelegt. Darauf wird verwiesen. In übergangsrechtlicher Hinsicht ist zu präzisieren, dass die am 1. Januar 2004 - und somit nach dem Erlass des Einspracheentscheides vom 28. Mai 2003 - in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 (4. IVG-Revision) und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 keine Anwendung finden (vgl. <ref-ruling> Erw. 1.2 mit Hinweis). Das seit 1. Januar 2003 geltende Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 brachte hinsichtlich der invalidenversicherungsrechtlichen Invaliditätsbemessung keine substanziellen Änderungen gegenüber der bis zum 31. Dezember 2002 gültig gewesenen Normenlage (noch nicht in der Amtlichen Sammlung veröffentlichtes Urteil A. vom 30. April 2004, I 626/03), sodass die zur altrechtlichen Regelung ergangene Judikatur weiterhin massgebend ist. Bei dieser Rechtslage kann offen bleiben, ob der Rentenanspruch integral dem ATSG untersteht oder ob für die Zeit bis 31. Dezember 2002 altes und ab 1. Januar 2003 neues Recht massgeblich ist.
2. Streitig und zu prüfen ist der Anspruch auf eine Rente der Invalidenversicherung und in diesem Rahmen der Invaliditätsgrad.
2. Streitig und zu prüfen ist der Anspruch auf eine Rente der Invalidenversicherung und in diesem Rahmen der Invaliditätsgrad.
3. 3.1 In medizinischer Hinsicht gelangten Verwaltung und Vorinstanz zum Ergebnis, der Beschwerdeführer sei zumutbarerweise in der Lage, eine einfache Hilfsarbeit ohne besondere körperliche Belastung und in einer stressfreien Umgebung im Rahmen eines Arbeitspensums von 75 % auszuüben. Sie stützten sich dabei in erster Linie auf das der Zürich erstattete Gutachten der Klinik X._.
Der Beschwerdeführer erachtet dieses Gutachten ebenfalls als beweiskräftig, beanstandet jedoch dessen Interpretation durch die IV-Stelle und das kantonale Gericht. Er macht geltend, es müsse - insbesondere unter Einbezug des erläuternden Schreibens des Dr. med. Z._, welcher das Gutachten verfasst hatte, vom 9. Januar 2003 - von einer ungünstigeren Beurteilung der Arbeitsfähigkeit ausgegangen werden.
3.2 Anlässlich der Begutachtung in der Klinik X._ wurden - im Anschluss an entsprechende Untersuchungen - am 4. Juni 2002 ein psychiatrisches (Dr. med. K._) und ein rheumatologisches (Dr. med. R._) Teilgutachten sowie am 13. Juni 2002 ein neuropsychologischer Bericht (Dr. phil. C._) abgefasst. Basierend darauf sowie auf seiner eigenen neurologischen Untersuchung erstattete Dr. med. Z._ das Gesamtgutachten. Dieses erfüllt die von der Rechtsprechung entwickelten Anforderungen an eine beweiskräftige medizinische Expertise (<ref-ruling> Erw. 3a). Diagnostiziert wird ein Status nach schwerer Frontalkollision am 24. Dezember 1996 in Jugoslawien mit HWS-Distorsionstrauma und durchgemachter milder traumatischer Hirnverletzung mit heute mässiggradigen muskuloligamentären zervikalen Beschwerden mit eingeschränkter Kopfrotation, leichter psychischer Anpassungsstörung, leichten Gleichgewichtsstörungen sowie mittelgradigen neuropsychologischen Störungen unklarer Ätiologie. Weiter führt Dr. med. Z._ aus, der Unfall, der die alleinige Ursache der geklagten Beschwerden und erhobenen Befunde bilde, habe zu einer Beeinträchtigung der Arbeitsfähigkeit im angestammten Beruf als Koch um rund 50 % (an einem nicht zu stressigen Arbeitsplatz) geführt. Unter hektischeren Bedingungen erhöhe sich die Arbeitsunfähigkeit leicht auf 60-70 %. Nicht mehr möglich seien das Heben grösserer Gewichte (schwerer Pfannen ab 10 kg) sowie das Arbeiten in einer hektischen Arbeitsumgebung mit zahlreichen Mitarbeitern (Grossküche). Einfache Hilfsarbeiten ohne besondere körperliche Belastung und in einer stressfreien Umgebung seien in einem zeitlichen Umfang von rund 75 % zumutbar, wobei es sich dabei um theoretische Tätigkeiten handle, während dem Gutachter keine entsprechende praktische Tätigkeit bekannt sei. Bezogen auf das alleinige Führen eines Haushalts sei grob geschätzt von einer Einschränkung um ca. 30 % auszugehen.
In seinem Schreiben vom 9. Januar 2003 erklärt Dr. med. Z._, er habe die Zumutbarkeit eines Pensums von 75 % bewusst explizit auf Hilfsarbeiten ohne besondere körperliche Belastung und in einer stressfreien Umgebung beschränkt und in Klammern angefügt, dass es sich um eine theoretische Tätigkeit handle, die es in der Praxis, auf dem freien Arbeitsmarkt und finanziell verwertbar, nicht gebe. Da sich die Einschätzung der zumutbaren Arbeitsfähigkeit immer auf Tätigkeiten auf dem freien Arbeitsmarkt beziehe, könne dieser Wert nicht als Basis herangezogen werden. Zudem wäre wahrscheinlich auch keine kompetitive 100%ige Leistung pro Zeiteinheit möglich. De facto bleibe es "halt bei der für den angestammten Beruf festgelegten maximalen Arbeitsfähigkeit von 50 %".
3.3 Das kantonale Gericht hat zutreffend festgehalten, dass die Aufgabe des Arztes darin besteht anzugeben, welche Tätigkeit der versicherten Person in welchem Umfang zumutbar ist, während die Beurteilung der erwerblichen Verwertbarkeit der verbleibenden Arbeitsfähigkeit in den Zuständigkeitsbereich der Verwaltung oder - im Beschwerdefall - des Gerichts fällt (vgl. <ref-ruling> Erw. 4 mit Hinweisen). Aus dem Gutachten der Klinik X._ geht hervor, dass der Beschwerdeführer eine leichte Hilfsarbeit in einer stressfreien Umgebung mit einem Pensum von 75 % ausüben könnte. Die erst im Schreiben des Dr. med. Z._ vom 9. Januar 2003 enthaltene Aussage, es sei "wahrscheinlich auch keine kompetitive 100%ige Leistung pro Zeiteinheit möglich", rechtfertigt unter den konkreten Umständen die Annahme nicht, die Arbeitsfähigkeit sei darüber hinaus zusätzlich eingeschränkt. Die am Gutachten beteiligten Fachleute stellten mit Ausnahme der mittelgradigen neuropsychologischen Störung, deren Ätiologie jedoch unklar ist (insbesondere sind die Testresultate offenbar nicht typisch für eine hirnorganisch bedingte Störung, wie sie nach einer milden traumatischen Hirnverletzung auftreten kann) und welche mit dem im Gespräch gewonnenen, wesentlich günstigeren Eindruck des untersuchenden Spezialisten kontrastiert, in den jeweiligen Bereichen nur relativ leichte Beeinträchtigungen fest. Es ist davon auszugehen, dass diesen Einschränkungen durch die Umschreibung der zumutbaren Arbeit und deren Beschränkung auf ein Teilpensum von 75 % Rechnung getragen wurde. Dagegen ist nicht ersichtlich, warum und inwiefern die Leistungsfähigkeit des Beschwerdeführers in einer leichten, angepassten Hilfsarbeit über die Reduktion des Pensums hinaus in erheblichem Masse eingeschränkt sein sollte. Der diesbezüglichen vorinstanzlichen Beurteilung ist beizupflichten.
3.3 Das kantonale Gericht hat zutreffend festgehalten, dass die Aufgabe des Arztes darin besteht anzugeben, welche Tätigkeit der versicherten Person in welchem Umfang zumutbar ist, während die Beurteilung der erwerblichen Verwertbarkeit der verbleibenden Arbeitsfähigkeit in den Zuständigkeitsbereich der Verwaltung oder - im Beschwerdefall - des Gerichts fällt (vgl. <ref-ruling> Erw. 4 mit Hinweisen). Aus dem Gutachten der Klinik X._ geht hervor, dass der Beschwerdeführer eine leichte Hilfsarbeit in einer stressfreien Umgebung mit einem Pensum von 75 % ausüben könnte. Die erst im Schreiben des Dr. med. Z._ vom 9. Januar 2003 enthaltene Aussage, es sei "wahrscheinlich auch keine kompetitive 100%ige Leistung pro Zeiteinheit möglich", rechtfertigt unter den konkreten Umständen die Annahme nicht, die Arbeitsfähigkeit sei darüber hinaus zusätzlich eingeschränkt. Die am Gutachten beteiligten Fachleute stellten mit Ausnahme der mittelgradigen neuropsychologischen Störung, deren Ätiologie jedoch unklar ist (insbesondere sind die Testresultate offenbar nicht typisch für eine hirnorganisch bedingte Störung, wie sie nach einer milden traumatischen Hirnverletzung auftreten kann) und welche mit dem im Gespräch gewonnenen, wesentlich günstigeren Eindruck des untersuchenden Spezialisten kontrastiert, in den jeweiligen Bereichen nur relativ leichte Beeinträchtigungen fest. Es ist davon auszugehen, dass diesen Einschränkungen durch die Umschreibung der zumutbaren Arbeit und deren Beschränkung auf ein Teilpensum von 75 % Rechnung getragen wurde. Dagegen ist nicht ersichtlich, warum und inwiefern die Leistungsfähigkeit des Beschwerdeführers in einer leichten, angepassten Hilfsarbeit über die Reduktion des Pensums hinaus in erheblichem Masse eingeschränkt sein sollte. Der diesbezüglichen vorinstanzlichen Beurteilung ist beizupflichten.
4. Zu prüfen bleiben die für den Einkommensvergleich massgebenden Vergleichseinkommen, dies bezogen auf den Zeitpunkt des allfälligen Rentenbeginns (<ref-ruling>), als welchen das kantonale Gericht mit zutreffender Begründung den 1. Juni 2001 (ein Jahr nach der Reduktion des der Arbeitslosenentschädigung zu Grunde gelegten Pensums von 100 % auf die 50%ige Anstellung im Restaurant Z._; <ref-law>) bezeichnet hat.
4.1 Das Valideneinkommen bezifferte die Vorinstanz ausgehend vom Verdienst des Beschwerdeführers im Restaurant Y._, wo er von Juni 1998 bis Juli 1999 vollzeitlich angestellt war, sowie unter Berücksichtigung der zwischenzeitlichen Lohnentwicklung auf Fr. 56'300.-. Dieser Betrag ist zu Recht unbestritten geblieben.
4.2 Angesichts der Zumutbarkeitsbeurteilung gemäss Erw. 3.3 hievor muss davon ausgegangen werden, dass der Beschwerdeführer mit seiner im Umfang von 50 % ausgeübten Erwerbstätigkeit die verbliebene Arbeitsfähigkeit nicht vollumfänglich ausschöpft. Daher kann das mit der gesundheitlichen Einschränkung bei ausgeglichenem Arbeitsmarkt durch eine zumutbare Erwerbstätigkeit erzielbare Einkommen (Invalideneinkommen) nicht anhand des tatsächlich erzielten Lohnes bestimmt werden. Vielmehr hat die Vorinstanz diesen Wert zu Recht ausgehend von den Ergebnissen der schweizerischen Lohnstrukturerhebung (LSE) 2000 ermittelt (zu den Grundlagen dieses Vorgehens <ref-ruling> f. Erw. 3b/bb mit Hinweisen). Ausgehend von Tabelle A1, Anforderungsniveau 4, unter Berücksichtigung des branchenüblichen Wochenpensums und der Lohnentwicklung von 2000 auf 2001 (vgl. <ref-ruling> Erw. 7a) sowie umgerechnet auf ein Teilpensum von 75 % resultierte ein Wert von Fr. 3564.25 pro Monat. Praxisgemäss ist, soweit es die Umstände rechtfertigen, gegenüber dem Tabellenwert ein prozentualer Abzug vorzunehmen, um einer zu erwartenden behinderungsbedingten Lohneinbusse sowie allfälligen weiteren einkommensmindernden Faktoren Rechnung zu tragen (vgl. <ref-ruling> f. Erw. 5b). Wenn das kantonale Gericht im vorliegenden Fall den durch die Verwaltung berücksichtigten Abzug von 10 % bestätigt hat (zur gerichtlichen Prüfungsbefugnis in dieser Konstellation <ref-ruling> Erw. 6), ist dies in Anbetracht der konkreten Situation (Beeinträchtigung durch die verschieden gelagerten Symptome; Niederlassungsbewilligung; Alter [bei allfälligem Rentenbeginn] von 36 Jahren), nicht zu beanstanden. Der resultierende, durch das kantonale Gericht korrekt ermittelte Invaliditätsgrad von 32 % begründet keinen Rentenanspruch.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Ausgleichskasse des Kantons Aargau und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 13. September 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: