Sachverhalt:
A. Der 1957 geborene D._ übte verschiedene Berufstätigkeiten aus, bis er im Jahr 1997 ein Imbisslokal eröffnete. Er führte dieses bis Ende 2004, auf welchen Zeitpunkt er es einem seiner Söhne übertrug. Seither arbeitet D._ noch teilzeitlich im Lokal. Im November 2006 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Er machte dabei geltend, an Depressionen, Bluthochdruck und Schwindelanfällen zu leiden. Die IV-Stelle des Kantons Solothurn holte nebst weiteren Sachverhaltsabklärungen ein psychiatrisches Gutachten des Dr. med. I._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 17. Oktober 2008 ein. Mit Verfügung vom 20. Oktober 2008 verneinte sie einen Anspruch auf eine Invalidenrente und auf berufliche Massnahmen mit der Begründung, es liege kein invalidisierendes Leiden vor.
B. D._ erhob hiegegen Beschwerde auf Zusprechung einer Invalidenrente. Im Beschwerdeverfahren legte er mit Eingabe vom 13. Januar 2010 den Bericht des Dr. med. S._, FMH Psychiatrie und Psychotherapie, und der Frau lic. phil. Y._, Psychologin FSP, vom 22. Dezember 2009 auf. Mit Entscheid vom 6. Oktober 2010 wies das Versicherungsgericht des Kantons Solothurn die Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt D._ beantragen, in Aufhebung des vorinstanzlichen Entscheids und der Verwaltungsverfügung vom 20. Oktober 2008 sei ihm eine Invalidenrente zuzusprechen; eventuell sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Von diesen tatsächlichen Feststellungen kann es nur dann abweichen, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
2. Streitig und zu prüfen ist, ob der Beschwerdeführer Anspruch auf eine Invalidenrente hat.
Das kantonale Gericht hat im angefochtenen Entscheid die für den Rentenanspruch massgeblichen Bestimmungen mit der dazu ergangenen Rechtsprechung zutreffend dargelegt. Das gilt namentlich auch für die zu beachtenden Beweisregeln, insbesondere im Hinblick auf ärztliche Berichte und Gutachten. Darauf wird verwiesen.
3. Umstritten ist wie bereits im vorinstanzlichen Verfahren, ob ein invalidisierendes psychisches Leiden vorliegt.
3.1 Das kantonale Gericht hat dies gestützt auf das Gutachten des Dr. med. I._ vom 17. Oktober 2008 verneint. Der Experte ist darin zum Ergebnis gelangt, es liege aus psychiatrischer Sicht eine banale Dysthymie mit/bei Verdacht auf Anpassungsstörung mit längerer depressiver Reaktion, aktuell remittiert, vor. Die Arbeitsfähigkeit werde dadurch nicht beeinträchtigt.
3.2 Die von Dr. med. I._ diagnostizierte Dysthymie allein ist nach der bundesgerichtlichen Rechtsprechung regelmässig nicht invalidisierend, es sei denn, sie tritt zusammen mit anderen Befunden, wie etwa einer ernsthaften Persönlichkeitsstörung, auf (SVR 2011 IV Nr. 17 S. 44, 9C_98/2010 E. 2.2.2; 2008 IV Nr. 8 S. 23, I 649/06 E. 3.3.1 mit Hinweisen). Ein solcher anderer Befund wurde durch den Experten nicht erhoben. Die von diesem gestellten Diagnosen gestatten mithin nicht den Schluss auf ein invalidisierendes psychisches Leiden. Dies hat das kantonale Gericht zutreffend erkannt und ist auch nicht umstritten.
3.3 Der Beschwerdeführer wendet zunächst ein, auf die Expertise könne nicht abgestellt werden, da die Begutachtung nicht in seiner (türkischen) Muttersprache und ohne Beizug eines Dolmetschers erfolgt sei. Da die Expertise damit nicht beweiswertig sei, beruhe der vorinstanzliche Entscheid auf einer unvollständigen Sachverhaltsfeststellung und müsse aufgehoben werden. Es sei ein neues Gutachten durch einen türkisch sprechenden Psychiater erforderlich.
3.3.1 Zur Beurteilung sozialversicherungsrechtlicher Leistungsansprüche bedarf es verlässlicher medizinischer Entscheidsgrundlagen (<ref-ruling> E. 5.1 S. 232). Der bestmöglichen sprachlichen Verständigung zwischen Experte und versicherter Person kommt zwar insbesondere bei der psychiatrischen Abklärung besonderes Gewicht zu. Es besteht aber kein unbedingter Anspruch auf Durchführung einer medizinischen Abklärung in der Muttersprache des Exploranden resp. der Explorandin oder unter Beizug eines Übersetzers (Urteile 9C_511/2009 vom 30. November 2009 E. 4.2.2.1, 9C_1022/2008 vom 24. Juli 2009 E. 3.3.2 und 9C_822/2008 vom 21. April 2009 E. 3.4.1, je mit Hinweisen). Auch in den Leitlinien der Schweizerischen Gesellschaft für Versicherungspsychiatrie für die Begutachtung psychischer Störungen (publ. in: Schweizerische Ärztezeitung [SAeZ] 2004 S. 1048 ff., S. 1051) wird für die Untersuchung von Fremdsprachigen lediglich empfohlen, einen geeigneten Dolmetscher beizuziehen, wenn die sprachliche Verständigung zwischen Gutachter und Exploranden nicht genügend möglich ist. Diese Leitlinien haben zwar nicht verbindlich-behördlichen Charakter, formulieren aber doch den fachlich anerkannten Standard für eine sachgerechte, rechtsgleiche psychiatrische Begutachtungspraxis in der Schweiz (Urteile 8C_945/2009 vom 23. September 2010 E. 5, 8C_695/20089 vom 17. Dezember 2009 E. 3.2.1 und 8C_694/2008 vom 5. März 2009 E. 5.3 mit Hinweis).
Ob eine medizinische Abklärung in der Muttersprache des Exploranden oder der Explorandin oder unter Beizug eines Übersetzers im Einzelfall geboten ist, hat grundsätzlich der Gutachter im Rahmen sorgfältiger Auftragserfüllung zu entscheiden. Massgeblich dafür, ob und in welcher Form bei medizinisch-psychiatrischen Abklärungen dem Gesichtspunkt der Sprache und der sprachlichen Verständigung Rechnung getragen werden muss, ist letztlich die Bedeutung der Massnahme im Hinblick auf die in Frage stehende Leistung. Es geht um die Aussagekraft und damit die beweismässige Verwertbarkeit des Gutachtens als Entscheidungsgrundlage für die IV-Stelle und gegebenenfalls das Sozialversicherungsgericht. Danach müssen die Feststellungen des Experten nachvollziehbar sein, seine Beschreibung der medizinischen Situation muss einleuchten und die Schlussfolgerungen müssen begründet sein (AHI 2004 S. 143, I 245/00 E. 4.2.1 mit Hinweis auf <ref-ruling> E. 3a S. 351; aus jüngerer Zeit: erwähnte Urteile 9C_511/2009 E. 4.2.2.1 und 9C_1022/2008 E. 3.3.2, je mit Hinweisen).
3.3.2 Aus dem Gesagten ergibt sich, dass rechtlich die Durchführung einer Begutachtung, auch einer psychiatrischen, nicht notwendigerweise in der Muttersprache der Versicherten oder unter Beizug eines Dolmetschers zu erfolgen hat. Ob unter den konkreten Umständen nach Massgabe der dargelegten Gesichtspunkte die sprachliche Verständigung zwischen dem Gutachter und dem Exploranden hinreichend möglich ist, um eine verlässliche Begutachtung zu gewährleisten, ist als Frage der Beweiswürdigung und damit Tatsachenfeststellung vom Bundesgericht nur auf offensichtliche Unrichtigkeit und Rechtsverletzung im Sinne von <ref-law> überprüfbar (E. 1 hievor).
3.3.3 Das kantonale Gericht hat hiezu namentlich erwogen, in der Expertise des Dr. med. I._ vom 17. Oktober 2008 fänden sich keine Anhaltspunkte dafür, dass sich Gutachter und Explorand inhaltlich nicht oder nicht richtig verstanden hätten. Im Gutachten selbst würden keine Schwierigkeiten mit der Verständigung erwähnt und der Beschwerdeführer lege nicht dar, inwiefern sich die angeblichen Sprachschwierigkeiten auf die Qualität des Gutachtens ausgewirkt hätten. Namentlich benenne er keine Stellen, bei welchen die Expertise von seinen Darlegungen abweiche. Sodann werde im Gutachten zwar darauf verwiesen, dass ursprünglich der Beizug eines Dolmetschers vorgesehen gewesen sei. Dr. med. I._ gebe aber klar zu verstehen, dass die Verständigung mit dem Beschwerdeführer für die anstehenden Belange durchaus differenziert möglich gewesen sei. Im Gutachten gebe es keine Hinweise für eine falsche oder unvollständige Feststellung des rechtserheblichen Sachverhaltes und damit für eine unsorgfältige Auftragserfüllung. Aus den Aufzeichnungen in der Expertise gingen insbesondere auch die geklagten Beschwerden und Beeinträchtigungen des Versicherten mit hinreichender Genauigkeit hervor, weshalb mit überwiegender Wahrscheinlichkeit davon ausgegangen werden dürfe, die Exploration mittels Dolmetscher hätte zwar allenfalls zu ausführlicheren Antworten geführt, im Ergebnis aber nichts geändert. Daran vermöge auch der Bericht des behandelnden Psychiaters Dr. med. L._ vom 2. Oktober 2006 nichts zu ändern.
Diese Tatsachenfeststellungen beruhen auf einer einlässlichen Auseinandersetzung mit den relevanten Akten. In der Beschwerde wird nichts vorgebracht, was sie als offensichtlich unrichtig oder rechtsverletzend im Sinne von <ref-law> erscheinen liesse. Die Einwände betreffend sprachlich bedingte Verständigungsschwierigkeiten hat das kantonale Gericht in überzeugender Weise behandelt. Das gilt namentlich auch für die vorinstanzliche Beurteilung, aufgrund der entsprechenden Aussagen des Dr. med. I._ sei entgegen der Empfehlung des Dr. med. L._ nicht erforderlich, die Begutachtung in der Muttersprache des Versicherten resp. unter Beizug eines Dolmetschers vorzunehmen. Die in der Beschwerde erwähnten Stellungnahmen von IV-Mitarbeitern ändern hieran nichts. Das gilt auch für die Aussagen eines RAD-Arztes, zumal sich dieser offensichtlich auf Dr. med. L._ stützte, als er eine Begutachtung bei einem bestimmten, türkisch sprechenden Psychiater anregte. Zu erwähnen ist in diesem Zusammenhang auch, dass Dr. med. I._ an verschiedenen Stellen im Gutachten, namentlich auch bei den Angaben zur Anamnese, ausführt, der Versicherte habe sich auf entsprechendes Rück- und Nachfragen in der dargelegten Weise geäussert. Dies zeigt ebenfalls, dass eine sprachliche Verständigung durchaus möglich war. Der Einwand betreffend Sprache vermag mithin die vorinstanzliche Beurteilung, wonach das psychiatrische Gutachten vom 17. Oktober 2008 beweiswertig sei, nicht in Frage zu stellen.
3.4 Das kantonale Gericht ist sodann zum Ergebnis gelangt, die Expertise des Dr. med. I._ überzeuge auch inhaltlich und erfülle die Anforderungen an ein beweiswertiges Gutachten.
Die diesbezüglichen Einwände des Versicherten vermögen nicht, diese Beurteilung als offensichtlich unrichtig oder rechtsverletzend nach <ref-law> erscheinen zu lassen. Das gilt namentlich auch, soweit in der Beschwerde auf medizinische Vorakten - nebst Stellungnahmen des RAD-Arztes namentlich der Bericht des Dr. med. L._ vom 2. Oktober 2006 - Bezug genommen wird. Die Vorinstanz hat dargelegt, weshalb sie das Gutachten des Dr. med. I._ für überzeugender findet als diese Arztberichte. Diese Beweiswürdigung ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden.
3.5 Die vorinstanzliche Beurteilung ist somit rechtmässig, soweit sie auf einer Auseinandersetzung mit dem Gutachten des Dr. med. I._ vom 17. Oktober 2008 und den medizinischen Vorakten beruht.
Der Versicherte wendet indessen weiter ein, die Vorinstanz habe ihren Entscheid ungenügend begründet und damit seinen Anspruch auf rechtliches Gehör verletzt, indem sie sich nicht mit dem von ihm im kantonalen Verfahren aufgelegten Bericht des Dr. med. S._ und der Frau lic. phil. Y._ vom 22. Dezember 2009 auseinandergesetzt habe.
3.5.1 Der verfassungsmässige Anspruch auf rechtliches Gehör umfasst das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Akts zur Sache äussern zu können. Er verlangt von der Behörde, dass sie seine Vorbringen tatsächlich hört, ernsthaft prüft und in ihrer Entscheidfindung angemessen berücksichtigt. Dies gilt für alle form- und fristgerechten Äusserungen, Eingaben und Anträge, die zur Klärung der konkreten Streitfrage geeignet und erforderlich erscheinen. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann. Sie muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die es seinen Entscheid stützt. Nicht erforderlich ist, dass sich die Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (<ref-ruling> E. 2.2.1 S. 188; <ref-ruling> E. 5.2 S. 236, je mit Hinweisen).
3.5.2 Der Beschwerdeführer hat im kantonalen Verfahren mit Eingabe vom 13. Januar 2010 den Bericht des Dr. med. S._ und der Frau lic. phil. Y._ vom 22. Dezember 2009 eingereicht. Darin wird ausgeführt, es bestehe aufgrund einer depressiven Störung (gegenwärtig mittelgradige Ausprägung, wahrscheinlich rezidiv, im Verlauf chronisch, mit somatischen Symptomen) und einer andauernden Persönlichkeitsänderung nach im Verlauf chronischer depressiver Störung aus psychiatrischer Sicht eine volle Arbeitsunfähigkeit. An einem geschützten Arbeitsplatz betrage die Arbeitsfähigkeit 50 %.
Die Vorinstanz hat den Arztbericht vom 22. Dezember 2009 - wie auch die Eingabe vom 13. Januar 2010 - weder in der Darstellung des Sachverhalts noch in den Erwägungen ihres Entscheids erwähnt. Es muss daher davon ausgegangen werden, dass sie diese Unterlagen im Rahmen der Entscheidfällung nicht berücksichtigt und demnach auch nicht auf ihre Relevanz im hängigen Rechtsstreit hin geprüft hat. Darin liegt eine Verletzung des rechtlichen Gehörs.
3.5.3 Das Recht, angehört zu werden, ist formeller Natur. Die Verletzung des rechtlichen Gehörs führt ungeachtet der Erfolgsaussichten der Beschwerde in der Sache selbst zur Aufhebung der angefochtenen Verfügung. Es kommt mit anderen Worten nicht darauf an, ob die Anhörung im konkreten Fall für den Ausgang der materiellen Streitentscheidung von Bedeutung ist, d.h. die Behörde zu einer Änderung ihres Entscheides veranlasst wird oder nicht (<ref-ruling> E. 5.1 S. 390; <ref-ruling> E. 3d/aa S. 437). Nach der Rechtsprechung kann aber jedenfalls eine nicht besonders schwerwiegende Verletzung des rechtlichen Gehörs als geheilt gelten, wenn die betroffene Person die Möglichkeit erhält, sich vor einer Beschwerdeinstanz zu äussern, die sowohl den Sachverhalt wie die Rechtslage frei überprüfen kann (<ref-ruling> E. 2.2 S. 204; <ref-ruling> E. 3d/aa S. 438). Von einer Rückweisung der Sache ist selbst bei einer schwerwiegenden Verletzung des rechtlichen Gehörs dann abzusehen, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (<ref-ruling> E. 2.2 S. 204 f.; <ref-ruling> E. 5.1 S. 390).
3.5.4 Der Eingabe des Beschwerdeführers kommt keine eigenständige Bedeutung zu, da darin lediglich auf den Arztbericht vom 22. Dezember 2009 verwiesen wird. Dass das kantonale Gericht aber diesen fachärztlichen Bericht nicht gewürdigt hat, welcher eine Auffassung vertritt, die deutlich vom Ergebnis des bis dahin durchgeführten Beweisverfahrens abweicht, stellt eine schwere Gehörsverletzung dar. Eine Heilung des Mangels ist bei der gegebenen einschränkten Überprüfungsbefugnis des Bundesgerichts nicht zulässig. Dies führt dazu, dass die Sache zur erneuten Beurteilung der Streitsache unter Berücksichtigung des Arztberichts vom 22. Dezember 2009 zurückzuweisen ist, zumal unter den gegebenen Umständen nicht gesagt werden kann, dies komme geradezu einem formalistischen Leerlauf gleich. In diesem Sinne ist die Beschwerde gutzuheissen.
4. Die Rückweisung der Sache zum erneuten Entscheid kommt praxisgemäss einem Obsiegen der Beschwerde führenden Partei gleich. Die Beschwerdegegnerin hat daher im vorliegenden Verfahren die Gerichtskosten zu tragen und dem Beschwerdeführer eine Parteientschädigung auszurichten (Art. 66 Abs. 1, Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 6. Oktober 2010 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre und über die Beschwerde gegen die Verfügung vom 20. Oktober 2009 neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. April 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz