Sachverhalt: A. Der 1966 geborene D._ bezog gestützt auf die Verfügung der IV-Stelle Uri vom 18. März 2003 ab 1. März 2003 auf der Grundlage einer 100%igen Invalidität eine ganze Invalidenrente. Nach Einholung eines polydisziplinären medizinischen Gutachtens des Instituts Y._ vom 16. August 2011 hob die IV-Stelle mit Verfügung vom 13. September 2011 die Rente wiedererwägungsweise mit Wirkung auf das Ende des folgenden Monats nach Zustellung der Verfügung auf. Zur Begründung wurde ausgeführt, die rentenzusprechende Verfügung sei offensichtlich unrichtig und aktuell bestehe bei einem Invaliditätsgrad von 0 % kein Anspruch auf eine Invalidenrente. B. Die von D._ hiegegen erhobene Beschwerde wies das Obergericht des Kantons Uri, unter Gewährung der unentgeltlichen Rechtspflege, mit Entscheid vom 23. März 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt D._ beantragen, es sei der vorinstanzliche Entscheid aufzuheben, weiterhin eine ganze Invalidenrente auszurichten und festzustellen, dass die vorinstanzlich gewährte unentgeltliche Verbeiständung in masslicher Hinsicht willkürlich zu tief angesetzt worden sei. Zudem wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.