Sachverhalt: A. Mit Verfügung vom 27. April 2006 und diese bestätigendem Einspracheentscheid vom 28. Juni 2007 wies die IV-Stelle Uri ein Leistungsbegehren des 1954 geborenen T._ ab. Die dagegen erhobene Beschwerde hiess das Obergericht des Kantons Uri (Verwaltungsrechtliche Abteilung) mit Entscheid vom 4. April 2008 insoweit gut, als die Sache an die IV-Stelle zurückgewiesen wurde, damit diese im Sinne der Erwägungen verfahre und neu verfüge. Nach Abklärungen und Durchführung des Vorbescheidverfahrens sprach die IV-Stelle dem Versicherten mit Verfügung vom 6. Mai 2009 eine Viertelsrente ab 1. Dezember 2004 zu. B. Dagegen erhob T._ Beschwerde mit den Anträgen um Durchführung eines psychiatrischen Gutachtens und Zusprechung einer ganzen Rente. Nach Berücksichtigung neu eingereichter medizinischer Unterlagen wies das kantonale Gericht das Rechtsmittel mit Entscheid vom 9. Juli 2010 ab. C. T._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides sowie unter Kosten- und Entschädigungsfolgen beantragen, es sei ihm eine ganze, eventuell eine Dreiviertelsrente, subeventuell eine halbe Rente zuzusprechen. Ebenfalls eventuell beantragt er die Rückweisung der Sache an die Vorinstanz, eventuell an die Beschwerdegegnerin, zwecks weiterer medizinischer Abklärungen (Einholung eines psychiatrischen Gutachtens) und zum Neuentscheid. Subeventuell stellt der Beschwerdeführer das Begehren, es sei ihm ein leidensbedingter Abzug von 25 %, eventuell von 18 % zuzugestehen. Schliesslich ersucht er um Gewährung der unentgeltlichen Rechtspflege.