Sachverhalt: Sachverhalt: A. Der 1953 geborene C._ meldete sich am 10. Juli 2001 bei der Invalidenversicherung erneut zum Bezug einer Invalidenrente an, nachdem ein erstes Gesuch vom März 1998 nach vorgängig erfolgten polydisziplinären Untersuchungen durch die Medizinische Abklärungsstelle (MEDAS) mit Verfügung vom 7. Februar 2001 rechtskräftig abgewiesen worden war. Die IV-Stelle Luzern holte mehrere Berichte ein, worunter sich auch jene von Dr. M._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 29. April und 8. August 2002, und vom damaligen Hausarzt Dr. R._, Spezialarzt FMH für innere Medizin, vom 26. Juli 2001 befanden. Gestützt auf diese Unterlagen verneinte die IV-Stelle mit Verfügung vom 16. Januar 2003 erneut den Anspruch auf Invalidenrente, weil der festgestellte Invaliditätsgrad von 32 % die zu einem Rentenanspruch führenden 40 % nach wie vor nicht erreiche. Mit Einspracheentscheid vom 21. Mai 2003 hielt die IV-Stelle an ihrer Auffassung fest. A. Der 1953 geborene C._ meldete sich am 10. Juli 2001 bei der Invalidenversicherung erneut zum Bezug einer Invalidenrente an, nachdem ein erstes Gesuch vom März 1998 nach vorgängig erfolgten polydisziplinären Untersuchungen durch die Medizinische Abklärungsstelle (MEDAS) mit Verfügung vom 7. Februar 2001 rechtskräftig abgewiesen worden war. Die IV-Stelle Luzern holte mehrere Berichte ein, worunter sich auch jene von Dr. M._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 29. April und 8. August 2002, und vom damaligen Hausarzt Dr. R._, Spezialarzt FMH für innere Medizin, vom 26. Juli 2001 befanden. Gestützt auf diese Unterlagen verneinte die IV-Stelle mit Verfügung vom 16. Januar 2003 erneut den Anspruch auf Invalidenrente, weil der festgestellte Invaliditätsgrad von 32 % die zu einem Rentenanspruch führenden 40 % nach wie vor nicht erreiche. Mit Einspracheentscheid vom 21. Mai 2003 hielt die IV-Stelle an ihrer Auffassung fest. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 2. Februar 2004 ab. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 2. Februar 2004 ab. C. Mit Verwaltungsgerichtsbeschwerde beantragt C._ sinngemäss, der vorinstanzliche Entscheid und der Einspracheentscheid vom 21. Mai 2003 seien aufzuheben und die Sache sei an die IV-Stelle zurückzuweisen, damit sie nach weiteren medizinischen Abklärungen über den Rentenanspruch neu verfüge. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Stellungnahme verzichtet.