Sachverhalt: A. Die Firma K._ GmbH war der Ausgleichskasse des Basler Volkswirtschaftsbundes als abrechnungspflichtige Arbeitgeberin angeschlossen. R._ war als einzelzeichnungsberechtigter Gesellschafter und Geschäftsführer der Firma K._ GmbH im Handelsregister des Kantons Basel-Stadt eingetragen. Am ... wurde über die Firma K._ GmbH der Konkurs eröffnet und am ... mangels Aktiven wieder eingestellt. Das Betreibungsamt Basel-Stadt hatte der Ausgleichskasse des Basler Volkswirtschaftsbundes am 31. Oktober 2002 einen und am 22. Januar 2003 zwei Verlustscheine infolge Pfändung für ausstehende Beiträge einschliesslich Folgekosten ausgestellt. Mit Verfügung vom 4. März 2004 verpflichtete die Ausgleichskasse R._ zur Bezahlung von Schadenersatz für entgangene bundes- und kantonalrechtliche Sozialversicherungsbeiträge in der Höhe von Fr. 9'855.45. Daran hielt sie auf Einsprache des Versicherten hin fest (Entscheid vom 26. April 2004). B. Die von R._ hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 25. Januar 2005 gut und hob den Einspracheentscheid vom 26. April 2004 auf. C. Die Ausgleichskasse führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, der kantonale Entscheid sei aufzuheben und die Verfügung vom 4. März 2004 wiederherzustellen. R._ schliesst auf Abweisung und das Bundesamt für Sozialversicherung (BSV) auf Gutheissung der Verwaltungsgerichtsbeschwerde.