Faits :
A.
A.a. Après s'être vu refuser deux demandes de prestations de l'assurance-invalidité, A._, né en 1966, a déposé une nouvelle demande de prestations, le 5 avril 2007. L'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a recueilli des renseignements médicaux, notamment auprès de la doctoresse B._, spécialiste en psychiatrie et psychothérapie. Dans son rapport du 7 août 2007, ce médecin a diagnostiqué, avec répercussion sur la capacité de travail, un probable trouble schizotypique (F21), un syndrome lombo-radiculaire S1 gauche irritatif (hernies discales L4-L5 et L5-S1) et un syndrome d'amplification de la douleur. Elle a précisé n'avoir pas établi d'incapacité de travail et réserver son pronostic, l'activité précédemment exercée n'était cependant plus exigible. Mandaté par l'office AI pour examiner l'assuré, le docteur C._, spécialiste en psychiatrie et psychothérapie, a exclu l'existence d'une atteinte à la santé ayant des répercussions sur la capacité de travail; celle-ci restait entière dans toute activité. A titre de diagnostics sans répercussion sur la capacité de travail, il a fait état d'une personnalité émotionnellement labile, type impulsif (présente depuis la fin de l'adolescence), de troubles mentaux ainsi que de troubles du comportement liés à l'utilisation épisodique d'alcool, présents depuis l'adolescence, (rapport du 6 décembre 2007). Par décision du 27 février 2008, l'office AI a rejeté la demande.
A.b. Le 21 octobre 2009, l'office AI a rendu une décision, par laquelle il n'est pas entré en matière sur une nouvelle demande de A._. Par la suite, le 8 avril 2011, celui-ci s'est derechef adressé à l'assurance-invalidité en requérant un reclassement dans une nouvelle profession ou une rente. L'office AI a sollicité l'avis de la doctoresse B._, psychiatre traitante, en lui demandant de se déterminer sur une éventuelle aggravation de l'état de santé de l'assuré. Le 20 septembre 2011, le médecin a diagnostiqué une psychose paranoïaque (F 22.0)et attesté une incapacité de travail totale depuis de nombreuses années. De son côté, la doctoresse D._, spécialiste en médecine générale et médecin traitant a indiqué comme diagnostic ayant une répercussion sur la capacité de travail une personnalité anxiophobique avec tendance à l'alcoolisation depuis 2006 et des rachialgies chroniques sur troubles statiques et posturaux existant depuis 1994 (rapport du 28 septembre 2011). L'office AI a soumis les rapports des médecins traitants à l'appréciation de son Service médical régional (SMR; rapport de la doctoresse E._, spécialiste en médecine interne générale, du 8 novembre 2011). L'office AI a communiqué à l'assuré son intention de rejeter sa demande (projet de décision du 3 février 2012). A._ a formulé certaines critiques, de sorte que l'administration a requis l'avis du docteur F._, spécialiste en psychiatrie et psychothérapie et médecin auprès du SMR (rapport du 5 novembre 2012). Par décision du 7 décembre 2012, l'office AI a rejeté la demande de prestations de l'assuré, motif pris de l'absence de modification de l'état de santé (hormis une cure de hernie discale, le 8 février 2012, qui avait évolué favorablement ) et de toute incapacité de travail.
B.
Par jugement du 28 août 2014, la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg a rejeté le recours formé par l'assuré.
C.
A._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause à la juridiction cantonale, respectivement à l'office intimé, pour complément d'instruction et nouvelle décision. Il sollicite également le bénéfice de l'assistance judiciaire tendant à la dispense des frais judiciaires.

Considérant en droit :
1.
La décision attaquée ayant été rendue dans une cause de droit public (art. 82 let. a LTF) et dans une matière où aucune des clauses d'exception de l'art. 83 LTF ne s'applique, la voie du recours en matière de droit public est ouverte. Partant, il n'y a pas lieu d'entrer en matière sur le recours constitutionnel subsidiaire interjeté par le recourant.
2.
Saisi d'un recours en matière de droit public (art. 82 ss LTF), le Tribunal fédéral exerce un pouvoir d'examen limité. Il applique le droit d'office (art. 106 al. 1 LTF) et statue en principe sur la base des faits retenus par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement en cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire insoutenable, voire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause.
3.
3.1. Lorsque, comme en l'espèce, l'administration entre en matière sur une nouvelle demande de prestations (cf. art. 87 al. 3 RAI), elle doit examiner la cause au plan matériel - soit en instruire tous les aspects médicaux et juridiques (arrêt 9C_142/2012 du 9 juillet 2012 consid. 4) - et s'assurer que la modification du degré d'invalidité rendue vraisemblable par l'assuré est effectivement survenue. Si elle constate que les circonstances prévalant lors de la dernière décision entrée en force et reposant sur un examen matériel du droit à la rente (cf. <ref-ruling>) ne se sont pas modifiées jusqu'au moment de la nouvelle décision, et que le degré d'invalidité n'a donc pas changé, elle rejette la nouvelle demande. Dans le cas contraire, elle est tenue d'examiner s'il y a désormais lieu de reconnaître un taux d'invalidité ouvrant le droit à une prestation ou augmentant celle-ci. En cas de recours, le même devoir d'examen matériel incombe au juge (<ref-ruling> consid. 2 p. 114; 117; ULRICH MEYER/MARCO REICHMUTH, Rechtsprechung des Bundesgerichts zum IVG, 3 e éd., n. 120, p. 456).
3.2. Dès lors que l'intimé est entré en matière sur la nouvelle demande du recourant par sa décision du 7 décembre 2012, le litige porte uniquement sur le point de savoir si, en raison d'une aggravation de l'état de santé de l'assuré et de ses effets sur le plan économique, le degré d'invalidité a subi une modification significative depuis la décision du 27 février 2008 et atteint désormais le taux de 40 % justifiant l'octroi d'une rente (art. 28 al. 2 LAI).
3.3. Comme le relève le recourant, en examinant l'évolution de l'état de santé de l'assuré sur le plan psychique, la juridiction cantonale est arrivée à la conclusion que le rapport de la psychiatre traitante ne parvenait pas "à rendre vraisemblable la présence d'une aggravation de l'état de santé du recourant". Or le fait de rendre vraisemblable ou plausible la modification significative des circonstances n'est déterminant que pour l'entrée en matière sur la nouvelle demande de prestations de l'assurance-invalidité; le point de savoir si une modification notable est intervenue doit être examiné, sous l'angle matériel, à l'aune du degré de preuve plus strict de la vraisemblance prépondérante. Il ressort toutefois clairement des considérations des premiers juges qu'ils n'ont pas remis en cause l'entrée en matière de l'administration sur la nouvelle demande et, partant, n'en ont pas examiné la conformité au droit. On ne saurait dès lors voir dans la "confusion" entre entrée en matière et examen sur le fond invoquée par le recourant une violation de l'art. 87 RAI.
4.
Le recourant reproche à l'intimé et à la juridiction cantonale d'avoir contrevenu au principe inquisitoire (cf. art. 43 et 61 let. c LPGA), en refusant de procéder à un complément d'instruction sur les plans psychiatrique, rhumatologique et pneumonologique. Selon lui, les premiers juges ne pouvaient pas, sans faire preuve d'arbitraire, suivre l'avis des médecins du SMR, rendus uniquement en fonction des renseignements médicaux au dossier, et écarter le rapport de la doctoresse B._, alors que l'expertise la plus récente avait été rendue en 2007 par le docteur C._.
4.1. Il est vrai que dans le cadre de la procédure relative à la nouvelle demande du recourant du 8 avril 2011, l'administration a uniquement recueilli de nouveaux rapports auprès des médecins traitants et requis l'avis du SMR à ce sujet, mais n'a en revanche pas mis en oeuvre une nouvelle expertise. La juridiction cantonale a également considéré qu'une telle mesure d'instruction n'était pas nécessaire; elle a constaté au vu des rapports médicaux au dossier que la bronchopneumopathie chronique obstructive (BPCO) dont souffrait le recourant ne présentait pas un caractère invalidant, que les rachialgies chroniques ne s'étaient pas aggravées et que l'intervention chirurgicale subie en février 2012 n'avait influencé sa capacité de travail que pour une durée limitée; sur le plan psychiatrique, elle a retenu que l'état de santé du recourant ne s'était pas péjoré, les conclusions de la psychiatre traitante à cet égard n'étant pas convaincantes.
4.2. Quoi qu'en dise le recourant, l'appréciation anticipée des preuves à laquelle a procédé l'autorité judiciaire de première instance ne relève ni d'une violation du principe inquisitoire, ni d'une constatation manifestement inexacte des faits ou d'arbitraire.
4.2.1. Les premiers juges ont expliqué de manière détaillée et convaincante les raisons pour lesquelles l'expertise du docteur C._ gardait toute sa pertinence pour évaluer la situation du recourant en 2012, même si elle datait de 2007. Appréciant de manière circonstanciée les constatations de la doctoresse B._ du 20 septembre 2011, ils ont mis en évidence qu'elle n'avait pas apporté d'élément déterminant pour établir l'aggravation de l'état de santé psychique de son patient depuis l'évaluation du docteur C._. Ainsi, à leur suite, on relèvera que si la psychiatre a diagnostiqué une psychose paranoïaque existant depuis de nombreuses années (F22.0 selon la Classification internationale des maladies, OMS 2010 [CIM-10]), son diagnostic n'est pas fondé sur une anamnèse récente ou la description concrète des facteurs permettant de poser un tel diagnostic dans la situation de l'assuré, la mention d'"une idéation persécutrice" restant vague et générale. Le médecin a certes indiqué que son diagnostic était confirmé par les examens psychologiques du 23 août 2011. Ces tests projectifs ne constituent cependant pas un examen adéquat pour établir un diagnostic de psychose paranoïaque (cf. avis du docteur F._ du 5 novembre 2012) et suppléer un examen clinique insuffisant. De plus, interpellée de manière précise sur l'existence d'une aggravation de l'état de santé par rapport à la situation évaluée par l'expert en 2007, la doctoresse B._ s'est contentée d'exprimer son désaccord avec son confrère C._ et d'attester une incapacité entière de travail (avis complémentaire du 23 septembre 2011). Invitée à "argumenter" une éventuelle aggravation, elle n'a donné aucune précision supplémentaire. En l'absence de toute indication complémentaire de sa part, l'affirmation selon laquelle le recourant "a développé une décompensation psychotique franche" n'est pas suffisamment fondée pour convaincre de la survenance de celle-ci.
S'ajoute à cela que les critiques supplémentaires de la juridiction cantonale sur l'appréciation de la psychiatre traitante - absence d'explication sur le changement de diagnostic (probable trouble schizotypique F21 en 2007; psychose paranoïaque F22.0 en 2011), pas de référence aux événements de la vie courante de l'assuré - sont pertinentes et ne sont pas sérieusement remises en cause par le recourant. En se limitant à affirmer que l'expertise psychiatrique du docteur C._ se trouvait clairement contredite par les "indications récentes données" par la doctoresse B._ et n'était dès lors plus d'actualité, le recourant n'expose pas en quoi les considérations de la juridiction cantonale seraient entachées d'arbitraire; il procède à sa propre appréciation des pièces médicales, ce qui relève d'un grief purement appellatoire sur lequel il n'y a pas lieu de se prononcer.
En conclusion, compte tenu des faiblesses du rapport de la psychiatre traitante, ses conclusions n'étaient pas suffisantes pour convaincre de l'existence d'une aggravation de la situation de son patient sur le plan psychiatrique, ni, partant, pour rendre nécessaire une nouvelle évaluation médicale.
4.2.2. Le fait, ensuite, que l'appréciation de la juridiction cantonale repose (aussi) sur les deux rapports du SMR, rendus respectivement les 8 novembre 2011 et 5 novembre 2012 sans examen de l'assuré, ne la rend en l'occurrence pas arbitraire ou contraire au droit, même au regard de la jurisprudence sur les exigences strictes en matière d'appréciation des preuves en présence de constatations médicales effectués par le service médical interne à l'assurance sociale (<ref-ruling> consid. 5.2 p. 229 et l'arrêt cité; voir aussi l'arrêt 9C_25/2015 du 1er mai 2015 consid. 4.1 et les références citées).
Requis de s'exprimer sur la situation du recourant, le docteur F._ a indiqué qu'il n'y avait aucun élément médical nouveau qui modifiait les conclusions du docteur C._. Il a souligné qu'il n'était pas possible de diagnostiquer une psychose paranoïaque en fonction de tests psychologiques projectifs, et a rejeté implicitement l'avis de la doctoresse B._. Il confirmait ainsi l'appréciation de la doctoresse E._, selon laquelle le nouveau rapport de la psychiatre traitante constituait une autre manière d'interpréter le même état de fait médical, sans changement depuis l'expertise. Or comme le rapport de la doctoresse B._ ne permettait pas de mettre en évidence une aggravation de l'état de santé du recourant sur le plan psychique, ni de retenir le nouveau diagnostic posé (consid. 4.2.1 supra), un examen direct de l'assuré par un médecin spécialisé ne s'imposait pas. Dans cette mesure, les avis des docteurs F._ et E._ n'étaient pas dénués de valeur probante. Au demeurant, leurs observations n'ont contribué que dans une moindre mesure à "écarter" l'avis de la psychiatre traitante, selon les termes du recourant, comme le montre la lecture des considérations du jugement entrepris (consid. 3c/bb p. 9 ss). Les premiers juges ont en effet considéré que les faiblesses intrinsèques du rapport du 20 septembre 2011 lui enlevaient toute force de conviction.
4.2.3. En ce qui concerne l'état de santé de l'assuré du point de vue somatique, il se prévaut de nouveaux diagnostics posés par la doctoresse D._, le 28 septembre 2011 (personnalité anxiophobique, rachialgies chroniques, broncho-pneumopathie obstructive chronique).
Ces atteintes à la santé ont toutefois été dûment prises en considération par la juridiction cantonale, de sorte que son grief lié à l'établissement manifestement inexact des faits est mal fondé. Les premiers juges ont constaté que la doctoresse D._ n'avait pas fait état d'une aggravation relative à la broncho-pneumopathie obstructive chronique déjà diagnostiquée en 2007 (et n'induisant aucune incapacité de travail) ou aux rachialgies chroniques présentes depuis 1994. Le médecin traitant avait par ailleurs indiqué que l'activité exercée par son patient était exigible, comme toute autre activité adaptée (avec possibilité d'alterner les positions, environnement sans trop de poussières et pas trop froid). De surcroît, l'intervention chirurgicale subie par l'assuré en février 2012 (soit une microdiscectomie L4-L5 gauche pour une hernie discale) n'avait influencé la capacité de travail que pour une durée très limitée. En effet, celui-ci pouvait reprendre une activité à 50 % dès le 28 mars 2012 durant 3 semaines, puis à 100 %, en évitant toutefois le port de charges excédant 10 kg dans les six mois suivant l'intervention, selon le rapport du 28 mars 2012 du docteur G._, spécialiste en neurochirurgie.
5.
Le recourant fait encore valoir qu'il n'existerait aucune activité adaptée à ses limitations fonctionnelles. Dès lors qu'il se réfère essentiellement aux limitations retenues par la doctoresse B._, voire par la doctoresse D._ en relation avec la problématique psychique de son patient, et que ces restrictions n'ont pas à être retenues (consid. 4.2.1 supra), son grief n'est pas pertinent.
6.
Il suit de ce qui précède que le recours, mal fondé, doit être rejeté.
7.
Compte tenu de l'issue du litige, le recourant doit en principe supporter les frais judiciaires y afférents (art. 66 al. 1 LTF). Il a cependant sollicité le bénéfice de l'assistance judiciaire, en demandant à être dispensé du versement de frais judiciaires pour l'instance fédérale. Dès lors que les conditions en sont réalisées (art. 68 al. 1 LTF), l'assistance judiciaire lui est accordée dans la mesure requise. L'attention du recourant est toutefois attirée sur le fait qu'il devra rembourser la caisse du Tribunal fédéral s'il devient en mesure de le faire ultérieurement (art. 64 al. 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
L'assistance judiciaire, limitée aux frais judiciaires, est accordée au recourant.
4.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 16 juin 2015
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
La Greffière : Indermühle