Sachverhalt: A. Der 1960 geborene, als selbständigerwerbender Garagist tätige Z._ erlitt am 12. Juli 2001 bei der Explosion eines Pressluftzylinders Hand- und Unterschenkelverletzungen. Am 11. September 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern klärte die medizinischen und erwerblichen Verhältnisse ab und zog die Akten des Unfallversicherers bei. Zudem liess sie die Verhältnisse an Ort und Stelle prüfen (Abklärungsbericht für Selbständigerwerbende vom 21. Mai 2003). Mit Verfügung vom 29. Mai 2003 verneinte sie bei einem ermittelten Invaliditätsgrad von 14 % einen Rentenanspruch. Dagegen liess Z._ Einsprache erheben. Aufgrund der vorgebrachten Einwände ersuchte die IV-Stelle den Verfasser des Abklärungsberichts für Selbständigerwerbende um eine Stellungnahme, welche am 11. August 2003 erging. Dieser stützte sich zu Vergleichszwecken unter anderem auf die vom Schweizerischen Gewerbeverband herausgegebene Gewerbestatistik. Mit Einspracheentscheid vom 24. November 2003 wies die IV-Stelle die Einsprache ab, wobei sie in der Begründung in weiten Teilen die Stellungnahme des Abklärungsdienstes wiedergegeben hat. B. Beschwerdeweise liess Z._ beantragen, es sei ihm eine ganze, eventuell eine halbe Invalidenrente zuzusprechen. Zudem ersuchte er um Edition des Schreibens des Abklärungsdienstes vom 11. August 2003 und der Gewerbestatistik und um Einräumung der Möglichkeit, sich dazu vernehmen zu lassen. Das Verwaltungsgericht des Kantons Bern gelangte zur Auffassung, die Verwaltung habe den Anspruch des Versicherten auf rechtliches Gehör verletzt, was einen schwerwiegenden, eine Heilung ausschliessenden Verfahrensmangel darstelle. Es hiess die Beschwerde daher, ohne die materiell streitigen Leistungsansprüche zu prüfen, mit Entscheid vom 16. März 2004 gut, hob den Einspracheentscheid vom 24. November 2003 auf und wies die Sache an die Verwaltung zurück, damit sie im Sinne der Erwägungen verfahre und hernach neu verfüge. C. Die IV-Stelle führt Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei die Sache an das Verwaltungsgericht des Kantons Bern zur materiellen Beurteilung zurückzuweisen. D. Z._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.