Sachverhalt: A. Mit Nachtragsverfügung vom 14. September 2005, bestätigt mit Einspracheentscheid vom 25. Oktober 2005, legte die Ausgleichskasse des Kantons Solothurn den AHV-Beitrag für den nicht erwerbstätigen S._ für die Zeit vom 1. bis 31. Januar 2004 auf Fr. 3'030.- nebst Verwaltungskosten von Fr. 90.90, insgesamt Fr. 3'120.90, fest. B. Die von S._ dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 28. September 2006 gut, hob den Einspracheentscheid auf und wies die Akten an die Verwaltung zurück, damit diese den zu leistenden Beitrag auf Fr. 841.70 zuzüglich Verwaltungskosten festsetze. C. Das Bundesamt für Sozialversicherungen (BSV) erhebt Verwaltungsgerichtsbeschwerde mit dem Antrag, der Entscheid des Versicherungsgerichts sei aufzuheben und der Einspracheentscheid zu bestätigen. S._ lässt auf Abweisung der Beschwerde schliessen, die Ausgleichskasse des Kantons Solothurn auf deren Gutheissung.