Sachverhalt: A. Mit Verfügung vom 13. Dezember 2007 setzte die IV-Stelle des Kantons Glarus die M._ seit 1. Mai 2001 ausgerichtete ganze Rente der Invalidenversicherung ab 1. Februar 2008 auf eine Dreiviertelsrente herab. Die dagegen von M._ erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 25. März 2009 in dem Sinne gut, als es den genannten Verwaltungsentscheid aufhob und die Sache zur ergänzenden medizinischen Abklärung im Sinne der Erwägungen und zur anschliessenden Neubeurteilung des Rentenanspruchs an die IV-Stelle zurückwies (Dispositiv-Ziff. 1 des Entscheids vom 25. März 2009). Dem "teilweise unterliegenden" M._ auferlegte es "eine reduzierte Gerichtsgebühr von pauschal Fr. 400.-" und sprach ihm als "teilweise obsiegenden" und anwaltlich vertretenen Beschwerdeführer zulasten der IV-Stelle "eine reduzierte Parteientschädigung von Fr. 1'000.- (inkl. Auslagen und Mehrwertsteuer)" zu (Dispositiv-Ziff. 2 und 3 des vorinstanzlichen Entscheids). Auf die hiegegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag auf vollumfängliche Auferlegung der Gerichtsgebühr an die IV-Stelle sowie Zusprache einer ungekürzten Parteientschädigung im kantonalen Verfahren trat das Bundesgericht mit Urteil vom 30. April 2009 nicht ein, da es sich beim Rückweisungsentscheid um einen Zwischenentscheid handle, der zur Anfechtung vorausgesetzte nicht wiedergutzumachende Nachteil bezüglich der Kosten- und Entschädigungsregelung zu verneinen sei und M._ später die Anfechtung der vorinstanzlichen Gerichts- und Parteikostenregelung noch offenstehe, entweder innerhalb der normalen Rechtsmittelfrist ab Rechtskraft des Endentscheides oder zusammen mit dem neuen Entscheid der Vorinstanz. B. Nach ergänzten Abklärungen in Nachachtung des Entscheides vom 25. März 2009 sprach die IV-Stelle M._ mit Verfügung vom 3. Juni 2010 rückwirkend ab 1. Februar 2008 eine ganze Rente der Invalidenversicherung zu, womit er seit 1. Mai 2001 durchgehend und weiterhin Anspruch auf eine ganze Rente hat. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ beantragen, in Aufhebung von Ziffer 2 des Entscheides des Verwaltungsgerichts des Kantons Glarus vom 25. März 2009 sei die Gerichtsgebühr für das Verfahren vor dem Verwaltungsgericht des Kantons Glarus vollumfänglich der Beschwerdegegnerin aufzuerlegen. In Aufhebung von Ziffer 3 des Entscheides des Verwaltungsgerichts des Kantons Glarus sei ihm für das vorinstanzliche Verfahren eine ungekürzte Parteientschädigung von Fr. 3'000.- zuzusprechen. Das Verwaltungsgericht des Kantons Glarus und die IV-Stelle Glarus schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung.