Sachverhalt:
A. Der 1946 geborene, bis 1988 als Küchengehilfe erwerbstätig gewesene N._, hat sich im Mai 1986 zum ersten Mal bei der Invalidenversicherung zum Leistungsbezug angemeldet. Die IV-Stelle Bern hat die seither wiederholt geltend gemachten Leistungsansprüche mit Verfügung vom 23. Juni 2006 bei einem Invaliditätsgrad von 10 % letztmals abgelehnt. Auf ein erneutes Leistungsbegehren vom 10. Dezember 2007 ist sie mit Verfügung vom 11. August 2008 und nach dem Rückweisungsentscheid des Verwaltungsgerichts des Kantons Bern vom 3. April 2009 erneut mit Verfügung vom 23. September 2009 nicht eingetreten.
B. Das Verwaltungsgericht des Kantons Bern hat die vom Versicherten hiegegen eingereichte Beschwerde mit Entscheid vom 18. März 2010 abgewiesen.
C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der vorinstanzliche Entscheid sei aufzuheben und an die Beschwerdegegnerin zur weiteren Abklärung zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Mit der Beschwerde kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. Streitig und zu prüfen ist, ob die Vorinstanz die Nichteintretensverfügung der IV-Stelle vom 23. September 2009 zu Recht bestätigt hat, weil der Beschwerdeführer seit der letztmaligen rechtskräftigen Rentenverweigerung vom 23. Juni 2006 keine dauerhafte und wesentliche Verschlechterung seines Gesundheitszustandes mit Auswirkung auf die Arbeitsfähigkeit zumindest glaubhaft gemacht hat (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV).
2.1 In der Beschwerde werden zunächst verfahrensrechtliche Mängel im Sinne einer Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV) gerügt. Der Beschwerdeführer beanstandet, dass die Vorinstanz es abgelehnt hat, ein Gutachten von Dr. med. G._ vom 23. September 2009 und ein Zeugnis des Hausarztes Dr. med. A._ vom 19. Oktober 2009 zu berücksichtigen. Er macht geltend, auch wenn der Bericht von Dr. med. G._ zufälligerweise das gleiche Datum wie der Nichteintretensentscheid trägt, verletze diese Nichtberücksichtigung den Anspruch auf rechtliches Gehör. Gleiches sei zu beanstanden bezüglich des Zeugnisses von Dr. med. A._, weil dieser Bericht, wie jener von Dr. med. G._, nicht die Situation am 23. September 2009 schildert, sondern auf Beobachtungen und Konsultationen über einen längeren Zeitraum beruht.
Wie der Beschwerdeführer selber darlegt, ist im vorliegenden Fall für den Entscheid die Situation zum Zeitpunkt des Erlasses der Nichteintretensverfügung vom 23. September 2009 massgebend (<ref-ruling> E. 3.2.3 S. 75 ff.). Mit Blick auf den Ausgang des Verfahrens braucht auf die Rügen und die diesbezüglichen Vorbringen in der Beschwerde, wonach ein Bericht auch zu berücksichtigen sei, wenn er zufälligerweise das gleiche Datum trägt wie der Nichteintretensentscheid, insbesondere wenn er auf einer längeren in die Vergangenheit gerichtete Beobachtungsphase beruht, allerdings nicht näher eingegangen zu werden.
2.2 In materieller Hinsicht wird eine Verletzung des Untersuchungsgrundsatzes im Sinne der freien Beweiswürdigung durch die Vorinstanz und die IV-Stelle gerügt. Der Beschwerdeführer macht geltend, die Ausführungen des RAD-Arztes in seinem Bericht vom 9. Juni 2009 seien lückenhaft und teilweise nicht nachvollziehbar. Dabei sei zu beachten, dass eine versicherungsexterne Begutachtung anzuordnen sei, wenn auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der versicherungsinternen Feststellungen bestehen (<ref-ruling> E. 4 S. 467 ff.).
Mit Entscheid vom 3. April 2009 hatte das kantonale Gericht die Beschwerdegegnerin angewiesen, die medizinischen Unterlagen durch einen Psychiater des RAD beurteilen zu lassen, was mit ärztlichem Bericht vom 9. Juni 2009 erfolgte. Die Vorinstanz gelangte im angefochtenen Entscheid zum Schluss, dass dieser Bericht die Anforderungen an den Beweiswert eines medizinischen Berichtes erfülle. Das bestreitet der Beschwerdeführer, indem er geltend macht, es lägen mehr als eine bekannte depressive Episode vor, wobei im RAD-Bericht nicht zwischen einer leichten Dysthymie und der vorhandenen mittelgradigen bzw. schweren Depression unterschieden worden sei.
2.3 Der erneuten Anmeldung vom 10. Dezember 2007 und dem nachfolgenden Administrativverfahren lagen Berichte zugrunde, welche - nebst den aus den früheren Verfahren bekannten rheumatologisch-orthopädischen Befunden, die den Beschwerdeführer nicht an der Ausübung einer leichten körperlichen Arbeit hindern - übereinstimmend folgende (ICD-codierte) Diagnosen auswiesen: Rezidivierende mittelgradige depressive Episode, Somatisierungsstörung (Bericht der X._ GmbH, Facharzt FMH Psychiatrie und Psychotherapie, vom 11. Oktober 2007, Austrittsbericht der psychiatrischen Klinik Y._ vom 14. Mai 2007 über den Aufenthalt vom 1. bis 31. März 2007 an den behandelnden Dr. S._, später von der gleichen Klinik im der Neuanmeldung beigelegten Attest vom 21. September 2007 als psychopathologischer Zustand bezeichnet). Zum Schweregrad dieser Beeinträchtigungen äusserte sich RAD-Facharzt Dr. med. W._, Psychiatrie und Psychotherapie FMH im Anschluss an den Rückweisungsentscheid des bernischen Verwaltungsgerichts vom 3. April 2009 u.a. wie folgt (wiedergegeben auch im Vorbescheid vom 7. Juli 2009):
"Die depressive Episode hat beim Versicherten also frühestens im September 2006 begonnen. Durch die Behandlung in der psychiatrischen Klinik Y._ bessert sich der psychische Zustand des Versicherten aber rasch. Der Versicherte war engagiert, mitteilsam und weniger dysphorisch. Die zu Beginn der Hospitalisation bestehenden kognitiven Einschränkungen besserten sich rasch. Der Versicherte war dann nach einem Paargespräch am 22.3.2007 nicht mehr gewillt, länger in der Klinik zu bleiben und wollte im Anschluss Ferien mit seiner Familie in seiner Heimat verbringen. Er wurde daraufhin am 31.3.2007 aus der Klinik entlassen. Der Zustand des Versicherten hat sich also sehr rasch verbessert. Die Tatsache, dass er am 22.3.2007, also nur drei Wochen nach dem Eintritt in die Klinik, bereits wieder austreten wollte und dann in die Ferien fahren wollte, deutet darauf hin, dass der Versicherte bereits an diesem Tag nicht mehr depressiv war. Eine Person mit einer mittelgradigen depressiven Episode hat keine Lust, in die Ferien zu fahren und zieht diese nicht einer Behandlung vor." (S. 3 unten f.).
Wenn die Beschwerdegegnerin und ihr folgend das kantonale Gericht die Glaubhaftmachung von Anhaltspunkten für eine neu eingetretene in den Vorverfahren gestützt auf mehrere gründliche Fachbegutachtungen (Gutachten des Zentrums Z._ vom 20. August 2002, und Gutachten der Medizinischen Abklärungsstelle (MEDAS), Spital I._, vom 4. April 2006) rechtskräftig ausgeschlossene psychische Krankheit von schwerwiegender, langdauernder und nicht therapierbarer Art verneinten, liegt darin keine Verletzung von Bundesrecht. Die nach der erneuten Nichteintretensverfügung vom 23. September 2009 ins Recht gelegten Berichte, insbesondere das vom gleichen Tag datierende Gutachten des Primarius G._, welches, soweit wesentlich, einzig eine rezidivierende Depression belegt, ändern daran nichts.
3. Die Beschwerde ist offensichtlich unbegründet und wird daher im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a und Abs. 3 BGG mit summarischer Begründung erledigt.
4. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Juli 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Scartazzini