Faits :
A.
A.a. A._, né en 1955, a travaillé en tant que facteur depuis 1972. En raison d'une incapacité de gain temporaire liée à un arrêt de travail à partir du 21 août 2006, l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après: l'office AI) lui a reconnu le droit à une rente entière d'invalidité du 1er août au 30 septembre 2007 (décision du 14 novembre 2008). Par la suite, les rapports de travail ont pris fin le 31 janvier 2009 et l'assuré s'est annoncé à l'assurance-chômage.
En raison d'une incapacité totale de travailler dès le 9 mars 2010, A._ a déposé une nouvelle demande de prestations de l'assurance-invalidité en janvier 2011. Entre autres mesures d'instruction, l'office AI a soumis l'assuré à un examen clinique orthopédique et psychiatrique auprès de son Service médical régional (SMR; rapport du docteur B._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, et de la doctoresse C._, spécialiste en psychiatrie et psychothérapie, du 11 mars 2014). Les médecins ont conclu à une capacité de travail nulle dans l'activité habituelle de facteur depuis le 21 août 2006, mais entière dans une activité adaptée aux limitations fonctionnelles somatiques dès le 1er octobre 2007, hormis durant la période du 22 juin au 31 décembre 2012 où aucune activité n'était exigible de la part de l'assuré, en raison de la pose d'une prothèse totale du genou gauche effectuée en juin 2012; sur le plan psychiatrique, la capacité de travail était entière tant dans l'activité habituelle que dans une activité adaptée depuis le 31 janvier 2009. Par décision du 14 juillet 2014, l'office AI a rejeté la demande de prestations.
A.b. Saisi d'un recours de l'assuré, le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, l'a partiellement admis (jugement du 17 juillet 2015). Il a partiellement annulé la décision administrative au sens des considérants (renvoi de la cause à l'office AI pour complément d'instruction quant à la capacité de travail de A._ sur le plan somatique durant la période du 1er octobre 2007 au 21 juin 2012, puis nouvelle décision). Il a également constaté que l'assuré n'avait en tout état de cause pas droit à une rente de l'assurance-invalidité postérieurement au 31 décembre 2012. Le Tribunal fédéral n'est pas entré en matière sur le recours formé par l'assuré contre ce jugement (arrêt 9C_566/2015 du 2 septembre 2015).
A.c. En exécution du jugement cantonal, l'office AI a requis des renseignements auprès du SMR (rapport du docteur D._ du 6 août 2015), tandis que l'assuré lui a fait parvenir des rapports médicaux, dont une expertise du docteur E._, spécialiste en psychiatrie et psychothérapie, du 27 mars 2018. L'expert a diagnostiqué un trouble neurocognitif léger (F06.7), qui était vraisemblablement complètement invalidant depuis le début de l'année 2014; pour la période antérieure, il était aussi vraisemblable que les premières manifestations du trouble avaient interféré avec la capacité de l'assuré à faire face au défi que représentait un processus de réintégration professionnelle au moment où il n'avait plus été en mesure de travailler comme facteur pour des raisons somatiques. Après avoir sollicité l'avis du docteur D._, selon lequel une incapacité totale de travail dans toute activité ne pouvait être prise en considération qu'à partir de juin 2016 (avis du SMR du 13 avril 2018), l'administration a reconnu le droit de A._ à une rente entière d'invalidité dès le 1er juin 2017 (décision du 24 juillet 2018).
B.
Statuant le 28 janvier 2019 sur le recours formé par A._ contre cette décision, le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, l'a rejeté.
C.
A._ interjette un recours en matière de droit public contre ce jugement. Il conclut à l'annulation de celui-ci et de la décision du 24 juillet 2018, ainsi qu'au renvoi de la cause à l'autorité précédente pour "qu'elle examine la totalité de la période circonscrite, à savoir d'octobre 2007 à juillet 2018". Il conclut également à la reconnaissance de son droit à une rente entière d'invalidité dès le 1er juillet 2011, subsidiairement du 1er juillet 2011 au 31 mars 2013, puis à partir du 1er janvier 2015.
L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
1.2. Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (<ref-ruling> consid. 3.2 p. 398). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.2 p. 72; <ref-ruling> consid. 6.1 p. 205). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 3.4 p. 53).
2.
Faute de faits nouveaux découverts durant l'instruction complémentaire, la juridiction cantonale a, dans un premier temps, considéré être liée par son jugement de renvoi du 17 juillet 2015. En s'y référant, elle a constaté que l'assuré avait présenté une pleine capacité de travail d'un point de vue psychique jusqu'au prononcé de la décision admi nistrative du 14 juillet 2014; quant à la capacité de travail sur le plan somatique, si elle avait été nulle du 22 juin au 31 décembre 2012, elle était en revanche à nouveau entière, dans une activité adaptée, dès le 1er janvier 2013.
Les premiers juges ont ensuite procédé à l'examen de l'évolution de la capacité de travail de l'assuré d'un point de vue somatique du 1er octobre 2007 au 21 juin 2012 et à ses éventuelles conséquences en matière de prestations de l'assurance-invalidité, ainsi qu'à l'évolution de la capacité de travail sur les plans psychique et somatique postérieurement au 14 juillet 2014. Pour la période antérieure au 22 juin 2012, les premiers juges ont retenu que la capacité de travail du recourant d'un point de vue somatique était entière dans une activité adaptée aux limitations fonctionnelles depuis le 1er octobre 2007, en se fondant sur les rapports du SMR du 11 mars 2014 et du docteur D._ du 6 août 2015. Pour la période courant à partir du 14 juillet 2014, l'instance cantonale a ensuite constaté qu'une incapacité totale de travail sur le plan psychique était survenue en juin 2016 en suivant les avis du docteur E._ du 27 mars 2018 et du docteur D._ du 13 avril 2018. Elle n'a en revanche pas repris les conclusions de l'expert E._ sur la survenance d'une incapacité totale de travail depuis janvier 2014 déjà, qu'elle n'a pas considéré convaincantes compte tenu d'autres appréciations médicales au dossier. La juridiction de première instance a finalement nié que l'état de santé somatique de l'assuré se fût aggravé dans une mesure susceptible d'entraîner une modification de son droit à des prestations de l'assurance-invalidité postérieurement à la décision du 14 juillet 2014, à tout le moins jusqu'au 23 avril 2017. Elle a considéré qu'il était superflu d'examiner si les conditions d'octroi d'une rente d'invalidité étaient remplies en relation avec l'incapacité de travail totale sur le plan physique dans toute activité attestée à la suite d'une chute dans les escaliers survenue le 24 avril 2017, au vu de l'incapacité totale de travail que présentait le recourant du point de vue psychique depuis juin 2016. En conclusion, les premiers juges ont confirmé le droit de l'assuré à une rente entière d'invalidité depuis le 1er juin 2017.
3.
Le recourant reproche d'une part à la juridiction cantonale d'avoir considéré qu'elle était liée par le jugement du 17 juillet 2015 s'agissant des constatations relatives tant à son état de santé psychique pour la période de janvier 2011 au 14 juillet 2014, qu'à son état de santé somatique pour la période du 22 juin 2012 au 14 juillet 2014. D'autre part, l'assuré critique avant tout l'appréciation des preuves qu'elle a effectuée dans ses jugements des 17 juillet 2015 et 28 janvier 2019. Il fait en substance valoir qu'il présentait des troubles cognitifs et physiques incapacitants antérieurement déjà à la date retenue par les premiers juges (juin 2016) pour arrêter au 1er juin 2017 le début de son droit à une rente entière d'invalidité.
4.
4.1. Lorsque l'autorité de première instance renvoie la cause à l'administration pour nouvelle décision au sujet de la période initiale et statue matériellement sur la période postérieure, il s'agit d'une décision incidente qui ne peut être attaquée qu'aux conditions de l'<ref-law> (<ref-ruling> consid. 5.2 p. 150; cf. aussi arrêt 9C_929/2015 du 10 août 2016 consid. 2.1). Selon le Tribunal fédéral, il conviendrait pour des motifs spécifiques au droit des assurances sociales, de renoncer à rendre une telle décision. Si elle est néanmoins prononcée, dans ce cas de figure précis, les constatations de l'autorité de première instance relatives à la période postérieure sur laquelle elle a statué matériellement ne lient pas l'administration dans la procédure consécutive au renvoi (arrêt 8C_530/2010 du 24 janvier 2011 consid. 3.5 in fine et les références; cf. aussi arrêt 9C_566/2015 du 2 septembre 2015 consid. 6); en conséquence, ces constatations ne lient pas non plus l'autorité judiciaire qui les a effectuées (<ref-ruling> consid. 5.2 p. 150 ss; arrêt 9C_554/2018 du 10 janvier 2019 consid. 1.3.1).
4.2. Le jugement du 17 juillet 2015, par lequel la juridiction cantonale a nié le droit du recourant à une rente de l'assurance-invalidité pour la période postérieure au 31 décembre 2012 et renvoyé la cause à l'administration pour instruction complémentaire pour la période du 1er octobre 2007 au 21 juin 2012, correspond à une décision incidente au sens de la jurisprudence exposée ci-avant, qui ne fixe pas de manière définitive le droit du recourant à des prestations de l'assurance-invalidité. En l'occurrence, tout en admettant dans son second jugement qu'elle était liée par les constatations précédentes (du 17 juillet 2015) sur la capacité de travail du recourant d'un point de vue psychique jusqu'au 14 juillet 2014 et celle sur le plan somatique du 22 juin au 14 juillet 2014, la juridiction cantonale a cependant complété ses considérations, en retenant en particulier l'absence de faits nouveaux. Dans cette mesure, on ne saurait lui reprocher, comme le fait en vain le recourant, de ne pas avoir examiné l'ensemble de la période concernée. Il n'y a dès lors pas lieu de donner suite à la conclusion du recours tendant au renvoi de la cause à la juridiction cantonale pour qu'elle procède à l'examen de l'évolution de sa capacité de travail durant la totalité de la période circonscrite (octobre 2007 à juillet 2018). Il convient bien plutôt de déterminer, à la lumière des griefs du recourant quant aux constatations des premiers juges sur l'ensemble de la période concernée, s'ils ont nié à juste titre le droit à une rente entière d'invalidité pour la période antérieure au 1er juin 2017.
5.
5.1. S'agissant tout d'abord de sa capacité de travail sur le plan psychique, le recourant reproche à la juridiction cantonale d'avoir suivi l'avis du docteur D._, selon lequel une incapacité totale de travail dans toute activité ne pouvait être prise en considération qu'à partir du moment où les troubles neurocognitifs déterminants avaient atteint une intensité suffisante pour motiver les examens nécessaires ayant permis de les mettre en évidence de manière objective, soit en juin 2016 (avis du SMR du 13 avril 2018). Si de tels troubles ont certes été objectivés lors d'une évaluation neuropsychologique qui a eu lieu les 22 et 29 juin 2016 (rapport du docteur F._, spécialiste en psychiatrie et psychothérapie, et de la psychologue G._, du 26 septembre 2016), l'assuré fait valoir que le docteur E._ a diagnostiqué un trouble neurocognitif léger (F06.7), qui était vraisemblablement complètement invalidant depuis le début de l'année 2014, avec pour conséquence qu'un droit à une rente entière d'invalidité devait lui être reconnu dès le 1er janvier 2015.
5.2. Dans son rapport du 27 mars 2018, dont les conclusions ont en partie été suivies par la juridiction cantonale, le docteur E._ a considéré qu'en janvier 2014 déjà, le degré de gravité du trouble neurocognitif léger (F06.7) était tel "qu'aucune performance professionnelle n'était plus possible dans quelqu[e] activité que ce soit", regrettant à cet égard que les "troubles nets de la mémoire" pourtant mis en évidence à l'époque par le docteur B._ et la doctoresse C._ du SMR (rapport du 11 mars 2014) n'eussent pas donné lieu à une investigation plus approfondie qui eût permis de documenter l'ampleur de l'atteinte neurocognitive à ce moment-là.
A la suite des premiers juges, on constate que l'avis du docteur E._ sur la période antérieure à 2016 n'est pas corroboré par les conclusions des autres spécialistes qui se sont prononcés sur l'état de santé de l'assuré sur le plan psychique. Ainsi, en comparant la situation qu'il avait décrite dans son rapport du 30 mai 2014 - qui mettait en évidence avant tout une symptomatologie dépressive - avec celle prévalant un peu plus de deux ans plus tard, le docteur H._, spécialiste en psychiatrie et psychothérapie et médecin traitant, a fait état d'une nette accentuation des problèmes de concentration et de mémoire. Ce n'est qu'à ce moment-là qu'il a évoqué pour la première fois un "mild cognitive impairment type amnésique" (rapport du 22 octobre 2016). Le docteur F._ et la psychologue G._ n'ont pour leur part pas attesté d'incapacité de travail antérieurement au mois de juin 2016, soit à la date à laquelle les premières évaluations neuropsychologiques ont été effectuées (rapport du 26 septembre 2016). Enfin, la doctoresse C._ a constaté que l'assuré présentait de "nets troubles de la mémoire" sans retenir toutefois de diagnostic psychiatrique, en fonction de ses observations et de l'anamnèse (rapport du 11 mars 2014). Le fait que la psychiatre du SMR n'a pas jugé utile de procéder à des investigations complémentaires à cette époque permet de considérer que les troubles mis en évidence n'atteignaient pas une sévérité déterminante, selon elle, du point de vue médical. On relèvera à cet égard que le psychiatre traitant n'a pas non plus jugé utile de soumettre son patient à des tests supplémentaires, en dépit des problèmes de mémoire et des difficultés de concentration mentionnés dans son rapport du 30 mai 2014. C'est en constatant une aggravation de la symptomatologie de son patient vers la fin de l'année 2015 que le docteur H._ a envisagé une évaluation neuropsychologique en avril 2016, à laquelle l'assuré a finalement été d'accord de se soumettre à la fin du mois de juin 2016 (rapport du 22 octobre 2016).
Compte tenu de ces constatations médicales sur la situation du recourant en 2014, l'appréciation des premiers juges de ne pas suivre les conclusions du docteur E._ sur la période antérieure au mois de juin 2016 n'a rien d'arbitraire. Le fait que des investigations complémentaires n'ont pas eu lieu en 2014, pas plus du reste que l'hypothèse de l'expert privé selon laquelle l'assuré aurait "enjolivé" son fonctionnement devant les médecins du SMR, ne permet de re-tenir, au degré de la vraisemblance prépondérante, une incapacité complète de travail dès 2014.
6.
6.1. Concernant ensuite la capacité de travail du point de vue somatique pour la période antérieure au 22 juin 2012, le recourant reproche d'abord aux premiers juges d'avoir reconnu pleine valeur probante au rapport du SMR du 11 mars 2014, alors qu'ils avaient retenu dans leur premier jugement du 17 juillet 2015 que l'avis du SMR n'était pas (complètement) convaincant. Or le recourant omet de prendre en compte les considérations des premiers juges selon lesquelles les indications supplémentaires données par le docteur D._, le 6 août 2015, étaient suffisantes pour qu'ils pussent se rallier aux conclusions du SMR du 11 mars 2014. En affirmant simplement l'absence de sérieux de la juridiction cantonale, le recourant n'invoque aucune violation du droit et on ne voit pas que le raisonnement des premiers juges consacrerait une telle violation, puisqu'ils ont pu forger leur appréciation sur les compléments médicaux apportés après leur décision de renvoi. Le grief est dès lors mal fondé.
6.2. Le recourant se réfère ensuite aux rapports de ses médecins traitants, les docteurs I._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, et J._, spécialiste en médecine interne générale, pour faire valoir que sa capacité de travail était nulle, tant dans l'activité habituelle que dans une activité adaptée, depuis le 9 mars 2010. Le recourant ne s'en prend cependant pas concrètement à l'appréciation des preuves de la juridiction cantonale; il lui reproche d'avoir écarté les avis de ses médecins traitants mais n'expose pas en quoi le choix de ne pas suivre leurs évaluations aurait été arbitraire. Ses critiques revêtent un caractère appellatoire, de sorte qu'il n'y a pas lieu d'y répondre plus avant. Il ne suffit en effet pas d'énumérer les diagnostics et les périodes d'incapacité de travail retenus par les médecins traitants pour mettre en évidence le caractère arbitraire de l'appréciation des premiers juges. On relèvera au demeurant que dans son rapport du 11 janvier 2016, le docteur I._ fait part de son incompréhension quant à la notion d'activité adaptée utilisée par les assurances sociales et nie l'existence d'une telle activité "tant que l'acquisition d'une activité adaptée possible n'est pas obtenue". Fondé sur sa propre définition de l'activité adaptée, l'avis du médecin n'est dès lors pas pertinent compte tenu de la notion d'activité adaptée ressortissant au droit des assurances sociales. Par conséquent, il n'y a pas lieu de s'écarter des constatations de la juridiction cantonale quant à la capacité entière de travail de l'assuré dans une activité adaptée à ses limitations fonctionnelles depuis le 1er octobre 2007 jusqu'au 21 juin 2012, puis dès le 1er janvier 2013.
7.
7.1. Dans un dernier grief, le recourant fait en substance valoir que les limitations fonctionnelles somatiques qu'il présente ne lui permettaient pas de mettre en oeuvre sa capacité résiduelle de travail sur le plan économique (à compter de 2010), comme cela avait été retenu par le Tribunal fédéral dans un arrêt 9C_313/2007 du 8 janvier 2008.
7.2. Compte tenu des limitations fonctionnelles retenues par les premiers juges, qui ne sont en tant que telles pas contestées par le recourant, sa situation n'est pas "clairement similaire" à celle de l'assurée ayant donné lieu à l'arrêt précité. Comme l'a constaté la juridiction cantonale dans son jugement de renvoi, la conjonction des limitations fonctionnelles du recourant ne se présentait pas de manière aussi défavorable, ne serait-ce qu'au regard de la différence entre le port de charges à éviter (non pas 1 kg mais 10 kg, respectivement 3 kg avec le [seul] membre supérieur droit) ou de l'absence de limitation quant à la force de préhension et de serrage au niveau des mains. Le recourant ne peut donc rien tirer en sa faveur de l'arrêt cité.
Par ailleurs, indépendamment du caractère adéquat ou non de l'activité de magasinier retenue par les premiers juges, leurs constatations sur la compatibilité des limitations fonctionnelles du recourant avec des activités simples de surveillance et de contrôle de machines (semi-) automatiques ou d'unités de production n'apparaissent pas manifestement inexactes. Le recourant se contente d'affirmer que ces activités impliqueraient le maintien d'une même position ce qui serait incompatible avec ses empêchements ou un travail répétitif au niveau de l'épaule droite, en reprenant les considérations du Tribunal fédéral dans l'arrêt précité sans qu'il ne les mette en lien avec les limitations alors retenues. En tant que le recourant invoque finalement ses troubles de la mémoire pour nier que toute activité adaptée eût été exigible de sa part, son argumentation n'est pas pertinente puisque les effets incapacitants de ces troubles ne peuvent pas être retenus pour la période précédant le mois de juin 2016 (consid. 5 supra). Dans ces circonstances, il n'y a pas lieu de s'écarter des constatations de la juridiction cantonale quant aux possibilités de travail dans une activité adaptée aux limitations fonctionnelles du recourant.
8.
Il résulte de ce qui précède que le recours est en tous points mal fondé.
9.
Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 8 juillet 2019
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Perrenoud