Sachverhalt:
A. Mit Verfügung vom 27. April 2006 und diese bestätigendem Einspracheentscheid vom 28. Juni 2007 wies die IV-Stelle Uri ein Leistungsbegehren des 1954 geborenen T._ ab. Die dagegen erhobene Beschwerde hiess das Obergericht des Kantons Uri (Verwaltungsrechtliche Abteilung) mit Entscheid vom 4. April 2008 insoweit gut, als die Sache an die IV-Stelle zurückgewiesen wurde, damit diese im Sinne der Erwägungen verfahre und neu verfüge. Nach Abklärungen und Durchführung des Vorbescheidverfahrens sprach die IV-Stelle dem Versicherten mit Verfügung vom 6. Mai 2009 eine Viertelsrente ab 1. Dezember 2004 zu.
B. Dagegen erhob T._ Beschwerde mit den Anträgen um Durchführung eines psychiatrischen Gutachtens und Zusprechung einer ganzen Rente. Nach Berücksichtigung neu eingereichter medizinischer Unterlagen wies das kantonale Gericht das Rechtsmittel mit Entscheid vom 9. Juli 2010 ab.
C. T._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides sowie unter Kosten- und Entschädigungsfolgen beantragen, es sei ihm eine ganze, eventuell eine Dreiviertelsrente, subeventuell eine halbe Rente zuzusprechen. Ebenfalls eventuell beantragt er die Rückweisung der Sache an die Vorinstanz, eventuell an die Beschwerdegegnerin, zwecks weiterer medizinischer Abklärungen (Einholung eines psychiatrischen Gutachtens) und zum Neuentscheid. Subeventuell stellt der Beschwerdeführer das Begehren, es sei ihm ein leidensbedingter Abzug von 25 %, eventuell von 18 % zuzugestehen. Schliesslich ersucht er um Gewährung der unentgeltlichen Rechtspflege.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. 2.1 Das kantonale Gericht hat in Bezug auf die gesundheitlich bedingten Einschränkungen des Beschwerdeführers hauptsächlich auf ein von Dr. med. I._, Facharzt FMH Psychiatrie und Psychotherapie, am 7. Juli 2008 erstattetes Gutachten abgestellt. Es hat befunden, insgesamt betrachtet beruhe dieses Gutachten auf einer fachärztlichen Abklärung, sei widerspruchsfrei und nachvollziehbar wie auch begründet in seinen Schlussfolgerungen. Es berücksichtige insbesondere den Vorzustand des Versicherten und die Anamnese und sei unter Beachtung aller massgebenden medizinischen Akten ergangen. Folglich könne darauf abgestellt werden, sodass sich die Einholung eines weiteren Gutachtens erübrige. Gestützt auf die medizinische Beurteilung von Dr. med. I._ gelangte die Vorinstanz zum Schluss, dass beim Versicherten eine Restarbeitsfähigkeit von 60 % in angepasster Tätigkeit besteht.
2.2 Für den Einkommensvergleich (<ref-law>) hat die Vorinstanz das von der Verwaltung auf Fr. 58'817.- festgesetzte Valideneinkommen bestätigt. Bei der Ermittlung des Invalideneinkommens von Fr. 30'919.- hat sie den Tabellenlohn der Lohnstrukturerhebung des Bundesamtes für Statistik (LSE 2004, ganzer privater Sektor, Anforderungsniveau 4) herangezogen. Dabei hat sie den von der IV-Stelle gewährten Abzug vom Tabellenlohn von 10 % für angemessen gehalten, woraus ein Invaliditätsgrad von 47 % und somit Anspruch auf eine Viertelsrente (<ref-law>) resultierte.
3. Streitig und zu prüfen ist einerseits die Arbeitsunfähigkeit des Versicherten aufgrund der medizinischen Aktenlage, andererseits die Frage, ob das Invalideneinkommen in Bezug auf die Höhe des Abzugs vom Tabellenlohn bundesrechtskonform festgesetzt wurde.
3.1 Das kantonale Gericht hat die medizinischen Unterlagen durchaus gewürdigt und sich mit den erhobenen Vorbringen auseinandergesetzt. Der Beschwerdeführer bringt mit seiner über weite Strecken appellatorischen, im Rahmen der gesetzlichen Kognition (E. 1) unzulässigen Kritik nichts vor, was die vorinstanzlich festgestellte Restarbeitsfähigkeit als Entscheidung über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.) als offensichtlich unrichtig oder als rechtsverletzend erscheinen lassen könnte. Soweit er in rechtlicher Hinsicht beanstandet, die vorinstanzliche Würdigung der vom Administrativgutachten des Dr. med. I._ abweichenden medizinischen Berichten sei zu knapp ausgefallen - nur eineinhalb von 22 Seiten befassten sich mit dieser alles entscheidenden Frage -, ist dieser Rüge und der damit verbundenen Berufung auf das Urteil 9C_24/2008 vom 27. Mai 2008 (betreffend die Bedeutung von Berichten behandelnder Mediziner im Rahmen der freien Beweiswürdigung) entgegenzuhalten, dass es mit Blick auf die prinzipielle Verschiedenheit von Behandlungs-/ Begutachtungsauftrag (statt vieler: Urteil 9C_957/2009 vom 9. Dezember 2009) nicht Sache der behandelnden Ärzte und Spitäler sein kann, in umstrittenen Fällen verbindlich zur Arbeitsunfähigkeit Stellung zu nehmen. Nach ständiger Rechtsprechung führt der Umstand, dass die mit der versicherten Person therapeutisch befassten Ärzte und Ärztinnen die restliche Arbeitsfähigkeit tiefer festlegen, nur dann zu ergänzenden Abklärungen, wenn sie objektive Anhaltspunkte vortragen, die dem Administrativexperten entgangen sind (Urteile 9C_317/2010 vom 11. November 2010 E. 2.3.1, 9C_480/2008 vom 27. Januar 2009 E. 4 mit Hinweis auf Urteil I 676/05 vom 13. März 2006 E. 2.4 in fine; Urteil U 58/06 vom 2. August 2006 E. 2.2 in fine). Das trifft bei der Einschätzung des Schweregrades psychischer Störungen der hier vorliegenden Art und der sich daraus ergebenden Auswirkungen auf das funktionelle Leistungsvermögen sowie die psychischen Ressourcen nicht zu, weil es sich hier von der Natur der Sache her um Fragen handelt, für deren Beantwortung dem psychiatrischen Sachverständigen ein weiter fachlicher Ermessensspielraum eingeräumt werden muss (in diesem Sinne Urteile 9C_447/2009 vom 15. Juli 2009 und 9C_661/2009 vom 29. September 2009 E. 3.2, bestätigt durch Urteil 9C_886/2009 vom 27. April 2010 E. 2.2). Es verletzt daher unter dem Gesichtswinkel weder des rechtlichen Gehörs (insbesondere der gerichtlichen Begründungspflicht) noch der freien Beweiswürdigung noch des Untersuchungsgrundsatzes Bundesrecht, wenn das kantonale Gericht dem die Anforderungen an eine beweiskräftige (<ref-ruling> E. 3 S. 352 ff.) Expertise erfüllenden Gutachten des Dr. med. I._ folgend eine Restarbeitsfähigkeit von 60 % in angepasster Tätigkeit festgestellt und für die Belange der Invaliditätsbemessung (Einkommensvergleich; <ref-law>) davon ausgegangen ist.
3.2 Ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vom Tabellenlohn (<ref-ruling>) vorzunehmen ist, stellt eine vom Bundesgericht frei überprüfbare Rechtsfrage dar (Urteil 8C_652/2008 vom 8. Mai 2009 E. 4 in fine, nicht publiziert in: <ref-ruling>). Die Frage nach der Höhe des (im konkreten Fall grundsätzlich angezeigten) Abzuges vom Tabellenlohn dagegen ist eine Ermessensfrage. Deren Beantwortung ist letztinstanzlicher Korrektur nur mehr dort zugänglich, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also bei Ermessensüberschreitung, -missbrauch oder -unterschreitung (vgl. zu diesen Rechtsbegriffen Urteil I 793/06 vom 4. Oktober 2007 E. 2.3, in: Plädoyer, 2008/1 S. 69; <ref-ruling> E. 3.3 S. 399; Urteil 9C_368/2009 vom 17. Juli 2009 E. 2.1).
Der Beschwerdeführer macht als einkommensbeeinflussende Merkmale geltend, er könne seit Februar 2004 nicht mehr arbeiten. Die Vorinstanz hat den Abzug vom Tabellenlohn von 10 % damit begründet, dass die gesundheitlichen Beschwerden bereits für die Bemessung der Arbeitsfähigkeit bzw. -unfähigkeit des Beschwerdeführers berücksichtigt wurden; für die Bemessung des Leidensabzuges seien sie deshalb nicht mehr zu beachten. Aus den Akten ist zu schliessen, dass der Abzug von 10 % darauf beruht, dass der Versicherte nunmehr eine Teilzeittätigkeit ausüben kann. Unter diesen Umständen ist der vorinstanzlich bestätigte Abzug von 10 % vertretbar und bleibt für das Bundesgericht somit verbindlich.
4. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der Verbeiständung) kann jedoch entsprochen werden, da die Bedürftigkeit ausgewiesen ist und die Beschwerde nicht als aussichtslos zu bezeichnen war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Walter A. Stöckli wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Uri, Verwaltungsrechtliche Abteilung, der Ausgleichskasse des Kantons Uri und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. Januar 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Scartazzini