Sachverhalt: Sachverhalt: A. Der 1962 geborene W._ erlernte den Beruf eines Zustellbeamten bei der Post. Wegen Knieproblemen musste er diese Stelle aufgeben und wurde mit Hilfe der Invalidenversicherung in eine kaufmännische Tätigkeit umgeschult. In der Folge arbeitete er ab Januar 1990 als Verwaltungsbeamter bei der Firma X._ AG. Am 6. August 1998 meldete er sich erneut wegen eines Morbus Bechterew und einer Fibromyalgie bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau klärte den medizinischen Sachverhalt unter anderem durch Beizug eines Gutachtens von Dr. med. J._, Spezialarzt FMH für innere Medizin, speziell Rheumatologie, vom 13. Februar 1998 ab, welches dieser zuhanden des ärztlichen Dienstes der SBB, des Bundes und der PTT erstellt hatte. Zudem holte sie Berichte der Arbeitgeberin und des Hausarztes von W._, Dr. med. B._, Allgemeinpraxis, ein. Anschliessend sprach die Verwaltung dem Versicherten mit Verfügung vom 5. November 1999 ab 1. September 1998 eine halbe Invalidenrente (nebst Zusatzrente für die Ehefrau und Kinderrente) zu. Mit Schreiben vom 21. Juni 2000 teilte die Firma X._ AG der IV-Stelle mit, der Arbeitsplatz von W._ sei aufgehoben worden und das Arbeitsverhältnis werde per 31. Dezember 2000 beendet, nachdem im Betrieb keine andere geeignete Tätigkeit habe gefunden werden können. Am 5. März 2002 wandte sich die Firma F._ AG an die IV-Stelle und informierte diese, sie habe den Versicherten ab September 2001 halbtags bei leichten administrativen Arbeiten beschäftigt, das Arbeitsverhältnis aber wieder aufgelöst, da sein Rendement trotz gutem Willen das Pensum von 50 % nicht erreicht habe. Sie beantragte sinngemäss, den Invaliditätsgrad auf 70 % festzusetzen. Die Verwaltung liess W._ in der Folge rheumatologisch (Gutachten vom 4. März 2003, Dr. med. M._, ärztlicher Leiter der Abteilung Rheumatologie am Spital Y._) und psychiatrisch (Gutachten vom 7. Juli 2003, Dres. med. Z._, Oberarzt, und D._, Assistenzarzt am Stützpunkt A._ des Externen psychiatrischen Dienstes [EPD]) abklären und eröffnete diesem anschliessend, es sei ihm aus medizinischer Sicht weiterhin zumutbar, eine kaufmännische Tätigkeit aufzunehmen und damit ein 50%iges Einkommen zu erzielen. Damit sei der Anspruch auf eine halbe Invalidenrente weiterhin begründet (Verfügung vom 27. August 2003). Daran wurde auch auf Einsprache hin festgehalten (Entscheid vom 26. November 2003). Mit Schreiben vom 21. Juni 2000 teilte die Firma X._ AG der IV-Stelle mit, der Arbeitsplatz von W._ sei aufgehoben worden und das Arbeitsverhältnis werde per 31. Dezember 2000 beendet, nachdem im Betrieb keine andere geeignete Tätigkeit habe gefunden werden können. Am 5. März 2002 wandte sich die Firma F._ AG an die IV-Stelle und informierte diese, sie habe den Versicherten ab September 2001 halbtags bei leichten administrativen Arbeiten beschäftigt, das Arbeitsverhältnis aber wieder aufgelöst, da sein Rendement trotz gutem Willen das Pensum von 50 % nicht erreicht habe. Sie beantragte sinngemäss, den Invaliditätsgrad auf 70 % festzusetzen. Die Verwaltung liess W._ in der Folge rheumatologisch (Gutachten vom 4. März 2003, Dr. med. M._, ärztlicher Leiter der Abteilung Rheumatologie am Spital Y._) und psychiatrisch (Gutachten vom 7. Juli 2003, Dres. med. Z._, Oberarzt, und D._, Assistenzarzt am Stützpunkt A._ des Externen psychiatrischen Dienstes [EPD]) abklären und eröffnete diesem anschliessend, es sei ihm aus medizinischer Sicht weiterhin zumutbar, eine kaufmännische Tätigkeit aufzunehmen und damit ein 50%iges Einkommen zu erzielen. Damit sei der Anspruch auf eine halbe Invalidenrente weiterhin begründet (Verfügung vom 27. August 2003). Daran wurde auch auf Einsprache hin festgehalten (Entscheid vom 26. November 2003). B. Die dagegen erhobene Beschwerde, mit welcher der Versicherte in erster Linie berufliche Massnahmen in Form eines stationären Arbeitstrainings und eventualiter eine Dreiviertelsrente ab 1. Januar 2004 beantragen liess, wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 23. März 2004). B. Die dagegen erhobene Beschwerde, mit welcher der Versicherte in erster Linie berufliche Massnahmen in Form eines stationären Arbeitstrainings und eventualiter eine Dreiviertelsrente ab 1. Januar 2004 beantragen liess, wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 23. März 2004). C. W._ lässt mit dem Rechtsbegehren Verwaltungsgerichtsbeschwerde führen, die Sache sei in Aufhebung des vorinstanzlichen Entscheides an die IV-Stelle zurückzuweisen, damit diese den Sachverhalt weiter abkläre und allenfalls berufliche Massnahmen in Form eines stationären Arbeitstrainings anordne. Eventuell sei ihm bei einem Invaliditätsgrad von 60 % ab 1. Januar 2004 eine Dreiviertelsrente zuzusprechen. Die IV-Stelle und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.