Sachverhalt:
A. Nachdem die IV-Stelle des Kantons Solothurn ein erstes Gesuch der 1978 geborenen H._ um Zusprechung einer Hilflosenentschädigung der Invalidenversicherung mangels Erfüllung der versicherungsmässigen Voraussetzungen am 2. Juni 2010 abgelehnt hatte, trat sie auf ein neues Begehren um Gewährung einer Hilflosenentschädigung mit Verfügung vom 9. Mai 2011 nicht ein.
B. H._ führte gegen die Verfügung vom 9. Mai 2011 beim Versicherungsgericht des Kantons Solothurn Beschwerde, wobei sie u.a. um die Bewilligung der unentgeltlichen Prozessführung ersuchte. Dieses Gesuch wies das Versicherungsgericht mit Entscheid vom 9. August 2011 ab, worauf die Versicherte die Beschwerde mit Schreiben vom 13. September 2011 zurückzog.
Mit Beschluss vom 19. September 2011 schrieb die Präsidentin des Versicherungsgerichts das Verfahren infolge Rückzuges der Beschwerde von der Geschäftskontrolle ab und auferlegte H._ Gerichtskosten in der Höhe von Fr. 100.-.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt das Bundesamt für Sozialversicherungen (BSV), der vorinstanzliche Abschreibungsbeschluss sei aufzuheben, soweit der Versicherten Gerichtskosten von Fr. 100.- auferlegt wurden, und die Sache sei an das kantonale Gericht zurückzuweisen, damit es die Kosten innerhalb des gesetzlich vorgegebenen Rahmens von 200-1'000 Franken festsetze.
H._ und die IV-Stelle verzichten auf eine Vernehmlassung. Das Versicherungsgericht des Kantons Solothurn lässt sich in ablehnendem Sinne zur Beschwerde vernehmen.

Erwägungen:
1. Nach <ref-law> (in der seit 1. Juli 2006 geltenden Fassung) ist das Beschwerdeverfahren bei Streitigkeiten um die Bewilligung oder die Verweigerung von IV-Leistungen vor dem kantonalen Versicherungsgericht abweichend von Art. 61 Buchstabe a ATSG kostenpflichtig. Gemäss Satz 2 von <ref-law> werden die Kosten nach dem Verfahrensaufwand und unabhängig vom Streitwert im Rahmen von 200-1'000 Franken festgelegt.
Dem klaren Wortlaut von <ref-law> zufolge, auf den für die Auslegung des Gesetzes in erster Linie abzustellen ist (<ref-ruling> E. 3.4 S. 184 mit Hinweisen), sind die Gerichtskosten im Verfahren vor dem kantonalen Versicherungsgericht in einem Rahmen zwischen Fr. 200.- und Fr. 1'000.- festzulegen. Diese grammatikalische Auslegung wird, wie das BSV zutreffend ausführt, durch die Gesetzesmaterialien bestätigt. In der Botschaft vom 4. Mai 2005 betreffend die Änderung des Bundesgesetzes über die Invalidenversicherung (Massnahmen zur Verfahrensstraffung; BBl 2005 S. 3079 ff., 3089 Ziff. 2.1) findet sich zum vorgeschlagenen neuen <ref-law>, der im revidierten Gesetz zu <ref-law> wurde, folgender Passus: Die Verfahrensvorschriften von Art. 61 Buchstabe a ATSG werden nur bezüglich der Kostenlosigkeit ausser Kraft gesetzt. Weiterhin muss das Beschwerdeverfahren vor dem kantonalen Versicherungsgericht jedoch einfach, rasch und in der Regel öffentlich sein. Der Kostenrahmen von 200-1'000 Franken wird den Kantonen und dem Bund (Eidg. AHV/IV-Rekurskommission) vorgegeben. Dieser Vorschlag des Bundesrates (BBl 2005 3094 zu <ref-law>) wurde von den Eidgenössischen Räten unverändert ins revidierte Gesetz übernommen, wobei der Kostenrahmen zu keinen Diskussionen Anlass gab; umstritten war hingegen die Kostenpflicht im Grundsatz (AB 2005 N 1369 ff., S 1012 ff.). Es ist daher auch aufgrund der Materialien klar, dass der Gesetzgeber mit dem am 1. Juli 2006 in Kraft getretenen <ref-law> den erstinstanzlichen Sozialversicherungsgerichten in IV-rechtlichen Beschwerdeverfahren einen verbindlichen Kostenrahmen vorgeben wollte. Dieser gilt auch, wenn der Verfahrensaufwand nur minimal war. Der abschliessende Charakter der bundesrechtlichen Regelung von <ref-law> für die Erhebung der Gerichtskosten verbietet den Kantonen aber nicht, auf die grundsätzlich geschuldeten Kosten zu verzichten, z.B. diese (ganz oder teilweise) zu erlassen, sofern das kantonale Recht eine entsprechende Regelung kennt und die entsprechenden Voraussetzungen erfüllt sind.
Nicht zu prüfen ist hier, ob der Kostenrahmen bei mutwilliger oder leichtsinniger Prozessführung überschritten werden darf.
2. Das kantonale Versicherungsgericht hat die Gerichtskosten zu Lasten der Versicherten auf Fr. 100.- festgelegt und dadurch den gesetzlich vorgegebenen Kostenrahmen unterschritten, ohne dass es die Reduktion der minimalen Gerichtsgebühr gemäss <ref-law> mit dem Vorliegen von Erlassgründen gerechtfertigt hat. Damit liegt eine Verletzung von Bundesrecht (<ref-law>) vor, welche zur Aufhebung des angefochtenen Entscheides führt.
3. Aufgrund der Umstände ist auf die Erhebung von Gerichtskosten für das letztinstanzliche Verfahren zu verzichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde wird der angefochtene Entscheid vom 19. September 2011, soweit die Höhe der Gerichtskosten betreffend, aufgehoben. Die Sache wird an das Versicherungsgericht des Kantons Solothurn zurückgewiesen, damit es die Gerichtskosten innerhalb des gesetzlich vorgegebenen Rahmens im Sinne der Erwägungen neu festsetze.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Solothurn und H._ schriftlich mitgeteilt.
Luzern, 21. Februar 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer