Sachverhalt:
A. Die E._ GmbH schloss sich gemäss Anschlussvertrag vom 21./30. März 2007 rückwirkend per 1. Januar 2007 für die berufliche Vorsorge der pensionskasse pro an. Einziger Versicherter war V._, Gesellschafter und Geschäftsführer der E._ GmbH. Am 30. März 2007 stellte die Pensionskasse für den einzigen gemeldeten Arbeitnehmer Beiträge in der Höhe von Fr. 3'868.65 in Rechnung. Mit Schreiben vom 15. Mai 2007 teilte die E._ GmbH mit, sie beschäftige vorläufig und bis auf Weiteres kein Personal mehr. Die Pensionskasse verarbeitete am 16. Mai 2007 den Austritt des einzigen Versicherten per 19. Mai 2007 und verbuchte die entsprechende Gutschrift, worauf sich der Prämienausstand auf Fr. 1'555.35 belief. Für 2008 erfolgten keine Lohnmeldungen mehr. Mit Schreiben vom 6. März 2008 forderte die Pensionskasse die E._ GmbH auf, den Beitragsausstand von Fr. 1'588.70 zu begleichen. Da auch auf Mahnung hin keine Zahlung einging, kündigte die Pensionskasse den Anschlussvertrag am 9. Februar 2009 auf Ende Dezember 2008. Auf die der E._ GmbH am 7. September 2009 zugestellte Schlussrechnung über Fr. 2'125.70 blieb eine Zahlung wiederum aus, worauf die Pensionskasse nach einer weiteren fruchtlosen Mahnung am 6. November 2009 die Betreibung einleitete, gegen welche V._ für die E._ GmbH Rechtsvorschlag erhob.
B. Am 22. September 2010 reichte die Pensionskasse beim Verwaltungsgericht des Kantons Thurgau Klage ein mit den Anträgen, die E._ GmbH sei zu verpflichten, ihr Fr. 2'675.70, nebst Zins zu 6 % seit 31. Dezember 2008, und Fr. 1'250.-, nebst Zins zu 6 % seit Klageeinreichung, sowie Betreibungskosten von Fr. 106.- zu bezahlen. Dementsprechend sei in der Höhe von Fr. 2'675.70, nebst Zins zu 6 % seit 31. Dezember 2008, in der Betreibung Nr. ... des Betreibungsamtes der Rechtsvorschlag zu beseitigen und die Rechtsöffnung zu gewähren. Mit Entscheid vom 8. Dezember 2010 erteilte das kantonale Gericht in teilweiser Gutheissung der Klage in der Betreibung Nr. ... des Betreibungsamtes (Zahlungsbefehl vom 10. November 2009) im Betrag von Fr. 2'034.15, nebst Zins zu 5 % seit 1. Januar 2009, die definitive Rechtsöffnung. Im Mehrbetrag wies es die Klage ab.
C. Die Pensionskasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Rechtsbegehren, der vorinstanzliche Entscheid sei aufzuheben, soweit ihren Anträgen nicht entsprochen wurde und die E._ GmbH sei zu verpflichten, ihr einen Betrag von Fr. 2'675.70, nebst Zins zu 6 % seit 31. Dezember 2008, und Fr. 1'250.-, nebst Zins zu 6 % seit Klageeinreichung, sowie Betreibungskosten von Fr. 106.- zu bezahlen. Demgemäss sei im Betrag von Fr. 2'675.70, nebst Zins zu 6 % seit 31. Dezember 2008, in der Betreibung Nr. ... des Betreibungsamtes der Rechtsvorschlag zu beseitigen und die Rechtsöffnung zu gewähren.
D. Am 22. Februar 2011 reicht die Pensionskasse einen Auszug aus dem Handelsregister des Kantons Thurgau ein, aus welchem ersichtlich ist, dass sich die E._ GmbH in Liquidation befindet und die Firma neu E._ GmbH in Liquidation lautet.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. 2.1 Die Vorinstanz gelangte zum Schluss, dass die gesamte per Vertragsende aufgelaufene Forderung in der Höhe von Fr. 2'034.15 ausgewiesen sei. Dieser Betrag entspreche der eingeklagten Forderung von Fr. 2'675.70 abzüglich der nach Vertragsauflösung angefallenen Mahn- und Inkassospesen und der nach Vertragsende aufgelaufenen Zinsen. Dieser Betrag sei der Pensionskasse zuzusprechen. Für weitere nach Vertragsauflösung angefallene Kosten (Inkassospesen) bestehe keine Grundlage. Auf der gesamten Ende 2008 ausgewiesenen Kapitalforderung von Fr. 2'034.15 sei ein Verzugszins von 5 % ab 1. Januar 2009 geschuldet. Der vertragliche Zinssatz von 6 % sei hingegen nicht mehr anwendbar. Demzufolge sei die E._ GmbH zu verpflichten, der Pensionskasse Fr. 2'034.15, nebst Zins zu 5 % seit 1. Januar 2009, zu bezahlen.
2.2 Die Beschwerdeführerin stellt sich auf den Standpunkt, mit dem angefochtenen Entscheid habe die Vorinstanz nur eine Rechtsöffnung gewährt, die Klage aber nicht materiell beurteilt. Dispositiv-Ziffer 1 des Entscheides beziehe sich einzig auf die Rechtsöffnung. Dies ergebe sich auch aus der Begründung. Fehle es an einer materiellen Entscheidung über die Forderung, verfüge die Beschwerdeführerin im Fall einer neuen Betreibung über keinen Rechtsöffnungstitel. Das Vorgehen der Vorinstanz stelle daher eine Rechtsverweigerung gemäss <ref-law> dar. Weiter bringt sie vor, dass sämtliche vertraglichen Ansprüche auch nach Vertragsauflösung gewahrt blieben. Die Kosten für Mahnungen (Fr. 50.-), die Einleitung der Betreibung (Fr. 500.-) und das Rechtsöffnungsbegehren sowie die Klageanhebung (Fr. 1'250.-) seien auch über den Zeitpunkt der Vertragsauflösung hinaus geschuldet. Sodann verletze die Vorinstanz mit der Reduktion des eingeklagten Zinssatzes von 6 % auf 5 % Bundesrecht. Gleiches gelte für die Nichtzusprechung der Betreibungskosten. Schliesslich habe das kantonale Gericht die Parteientschädigung willkürlich tief festgelegt.
3. 3.1 Entgegen den einleitenden Vorbringen der Beschwerdeführerin hat die Vorinstanz nicht nur einen Rechtsöffnungsentscheid gefällt, sondern über die Klage auch materiell entschieden, was im vorliegenden Fall denn auch Voraussetzung für die bewilligte definitive Rechtsöffnung bildet. Es ist nicht erkennbar, wie das kantonale Gericht im Betrag von Fr. 2'034.15, zuzüglich Zins zu 5 % seit 1. Januar 2009, die definitive Rechtsöffnung erteilen könnte, ohne vorerst über den Bestand der eingeklagten Forderung befunden zu haben. Die Vorinstanz hat sich in ihren Erwägungen denn auch einlässlich mit Bestand und Höhe der von der Pensionskasse klageweise geltend gemachten Forderung auseinandergesetzt und diese betraglich bestimmt. Der Umstand, dass das Dispositiv des angefochtenen Gerichtsentscheides in Ziffer 1 Satz 1 - "in teilweiser Gutheissung der Klage " - im Betrag von Fr. 2'034.15, zuzüglich Zins zu 5 % seit 1. Januar 2009, die definitive Rechtsöffnung erteilt, ohne dass zunächst die E._ GmbH zur Bezahlung des entsprechenden Betrages verpflichtet wurde, ändert daran nichts, zumal in Satz 2 erkannt wird, die Klage werde im Mehrbetrag abgewiesen. Dies betrifft offensichtlich die materielle Klage und nicht bloss das damit verbundene Rechtsöffnungsgesuch. Eine Rechtsverweigerung im Sinne von <ref-law> liegt nicht vor.
3.2 Inwieweit die Auffassung der Vorinstanz, wonach für die nach Vertragsauflösung angefallenen Inkassospesen keine vertragliche Grundlage mehr bestehe und ab 1. Januar 2009 der gesetzliche Verzugszinssatz von 5 % anzuwenden sei, Bundesrecht verletzen soll, vermag die Pensionskasse nicht darzutun, indem sie lediglich ihre eigene Ansicht dem Standpunkt des kantonalen Gerichts entgegenhält. Mit Bezug auf die Betreibungskosten (von Fr. 106.-) hat die Vorinstanz darauf hingewiesen, dass die Beschwerdeführerin diese laut <ref-law> von den Zahlungen der E._ GmbH vorab erheben kann. Dass das Gericht die Betreibungskosten nicht im Dispositiv zugesprochen hat, verletzt kein Bundesrecht (vgl. KURT AMONN/FRIDOLIN WALTHER, Grundriss des Schuldbetreibungs- und Konkursrechts, 8. Auflage, Bern 2008, S. 117 § 13 N 9).
4. Die Vorinstanz hat der teilweise obsiegenden Pensionskasse gestützt auf <ref-ruling>, wonach im kantonalen Verfahren obsiegende Sozialversicherer, die anwaltlich vertreten sind, Anspruch auf Parteientschädigung haben, wenn die Prozessführung der Gegenpartei als mutwillig oder leichtsinnig zu bezeichnen ist, eine (reduzierte) Parteientschädigung von Fr. 600.-, zuzüglich Mehrwertsteuer, zugesprochen. Die Beschwerdeführerin beantragt, es sei ihr für das kantonale Verfahren eine Parteientschädigung von Fr. 1'700.-, dies unter Annahme vollständigen Obsiegens, zuzusprechen.
Anspruch auf Parteientschädigung und deren Bemessung sind im Bereiche der beruflichen Vorsorge nicht bundesrechtlich geregelt, wie im angefochtenen Entscheid zutreffend festgehalten wird. Massgebend ist daher das jeweilige kantonale Recht, dessen Verletzung grundsätzlich nicht mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten gerügt werden kann (<ref-law>). Die Behauptung, die Vorinstanz sei bei der Bemessung der Parteientschädigung in Willkür verfallen, womit sie Bundesrecht verletzt habe, ist unbegründet: Bei der Festlegung der Entschädigung ist das Verwaltungsgericht zu Recht von einem lediglich teilweisen Obsiegen der Beschwerdeführerin ausgegangen mit der Folge, dass es eine reduzierte Parteientschädigung zugesprochen hat. Inwiefern diese willkürlich (vgl. zum Begriff der willkürlichen Rechtsanwendung <ref-ruling> E. 2.4 S. 5 mit Hinweisen) festgelegt worden sein soll, lässt sich der Beschwerde nicht entnehmen.
5. Dem Prozessausgang entsprechend sind die Gerichtskosten der unterliegenden Beschwerdeführerin aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 600.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Juni 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer