Faits :
A.
X._, né en 1979, a commencé en septembre 2009 des études à la faculté de droit de l'Université de Neuchâtel. Par décision du 26 janvier 2010, l'Office cantonal des bourses d'études et d'apprentissage du canton de Vaud (ci-après: l'Office des bourses) lui a octroyé une aide de 24'340 fr. pour la période allant de septembre 2009 à août 2010. Le 26 décembre 2010, il a également obtenu une aide, se montant à 24'340 fr., pour la période allant de septembre 2010 à août 2011.
Le 23 novembre 2011, X._ a décidé d'interrompre ses études de droit en prévision de la naissance de son fils en avril 2012. Il ne les a pas reprises depuis lors.
L'Office des bourses, par décision du 2 octobre 2014, confirmée par décision sur réclamation du 4 décembre 2014, a exigé le remboursement du montant de 51'080 fr. correspondant à l'aide financière versée de septembre 2009 à août 2011. Cet office a considéré, sans nouvelles de X._, que l'intéressé avait renoncé à terminer sa formation.
B.
Par arrêt du 14 avril 2015, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de X._ à l'encontre de la décision sur réclamation du 4 décembre 2014. Il a considéré en substance que la naissance d'un enfant ne constituait pas une raison impérieuse d'arrêter les études; partant, il ne se justifiait pas de renoncer à la restitution des allocations octroyées. De plus, la demande de remboursement ne violait pas le principe d'égalité par rapport aux étudiants qui se trouvaient en situation d'échec définitif et qui ne devaient pas rendre le montant perçu.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt du 14 avril 2015 du Tribunal cantonal, ainsi que la décision sur réclamation du 4 décembre 2014 de l'Office des bourses, subsidiairement, d'annuler l'arrêt du 14 avril 2015 du Tribunal cantonal et de renvoyer la cause à l'Office des bourses pour une nouvelle décision dans le sens des considérants.
Le Tribunal cantonal conclut au rejet du recours. Les observations de l'Office des bourses sont tardives.

Considérant en droit :
1.
1.1. Déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), le recours est recevable en vertu des <ref-law>; il ne tombe en particulier pas sous le coup de l'art. 83 let. t LTF.
Toutefois, la conclusion tendant à l'annulation de la décision du 4 décembre 2014 de l'Office des bourses est irrecevable, car, eu égard à l'effet dévolutif du recours devant le Tribunal cantonal, l'arrêt de cette autorité se substitue aux prononcés antérieurs (<ref-ruling> consid. 1.2 p. 543).
1.2. Aux termes de l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. Cette disposition reprend le principe d'allégation (Rügeprinzip) selon lequel l'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.2 p. 232; <ref-ruling> consid. 1.4 p. 176). Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 2.5 p. 314 et les arrêts cités).
Le Tribunal fédéral examine librement l'interprétation du droit constitutionnel cantonal ou fédéral; en revanche, il ne vérifie l'application des règles de rang inférieur à la Constitution cantonale que sous l'angle restreint de l'arbitraire: il ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution paraît concevable, voire préférable (<ref-ruling> consid. 3.4 p. 53 et les arrêts cités).
2.
Dans un premier grief, le recourant invoque une application arbitraire de l'art. 28 de la loi vaudoise du 11 septembre 1973 sur l'aide aux études et à la formation professionnelle (LAEF ou la loi sur l'aide aux études; RS/VD 416.11). Contrairement à ce qu'auraient retenu les juges précédents de façon arbitraire, la naissance d'un enfant constituerait une raison impérieuse d'arrêter les études, au sens de cette disposition; pour le démontrer, le recourant énumère tous les changements que l'arrivée d'un nourrisson implique dans la vie d'un couple.
2.1. Selon l'art. 28 LAEF, la restitution des allocations peut être exigée du bénéficiaire qui, sans raison impérieuse, renonce à toutes études ou formation professionnelle régulières.
Complète cette disposition l'art. 16 al. 2 du règlement vaudois d'application de la loi du 11 septembre 1973 sur l'aide aux études et à la formation professionnelle (RLAEF; RS/VD 416.11.1) qui prévoit que le boursier qui n'épuise pas toutes les possibilités offertes par le règlement d'études ou de formation de repasser ses examens et d'obtenir le titre visé est réputé avoir abandonné ses études ou sa formation sans raison impérieuse; il doit restituer les sommes reçues s'il ne reprend pas toutes autres études ou formation dans un délai de deux ans à compter de son abandon.
2.2. L'arrêt cantonal rappelle sa jurisprudence selon laquelle une naissance non voulue, et le bouleversement de la situation familiale qu'elle implique, n'a pas le caractère imprévisible et incontrôlable de la maladie ou de l'accident qui permettrait de qualifier cette naissance de raison impérieuse. L'argument selon lequel le recourant avait dû reprendre un emploi pour subvenir aux besoins de la famille, son épouse étant étudiante, n'était pas pertinent. Une nouvelle demande de bourse tenant compte de l'enfant aurait, en effet, pu être déposée.
2.3. Il est incontesté et incontestable que l'arrivée d'un enfant chamboule la vie d'un couple, et cela sur tous les aspects énoncés par le recourant. L'aspect financier étant primordial, on peut comprendre que le recourant ait arrêté ses études pour gagner de quoi subvenir aux besoins de la famille. A cet égard, celui-ci ne prétend néanmoins pas qu'il aurait déposé une nouvelle demande de bourse afin d'ajuster le montant perçu en fonction de l'enfant et que celle-ci lui aurait été refusée. Il n'est donc pas insoutenable d'estimer que des motifs économiques ne sauraient justifier l'abandon des études.
Quant au caractère non désiré de la grossesse, s'il est fondamental du point de vue des parents, on peut aussi soutenir, à l'instar des juges précédents, que cet événement n'est pas comparable à un accident ou une maladie qui obligerait l'étudiant à interrompre ses études. Dans le premier cas, à l'inverse du second, l'interruption résulte d'un choix. Ainsi, le recourant, après avoir abandonné ses études, a commencé à travailler alors que l'accidenté ou le malade qui arrête sa formation par obligation ne pourrait pas faire de même. Quant aux données émises par l'Office fédéral de la statistique, invoquées par le recourant, démontrant un nombre annuel d'accidents plus important que le nombre de naissances, elles n'ont aucune pertinence: elles ne disent rien sur le type d'accidents dont il s'agit et aucun élément ne permet d'affirmer que ceux-ci contraindraient les personnes touchées à mettre un terme à leurs études.
De plus, le recourant a arrêté ses études le 23 novembre 2011 et ce n'est que le 2 octobre 2014 que l'Office des bourses a constaté l'interruption définitive des études. Ainsi, si le recourant avait besoin d'arrêter momentanément de se rendre à l'université en lien avec la naissance de son enfant, il n'est pas arbitraire d'estimer que, sur le long terme, cet abandon relève d'un choix. L'art. 16 al. 2 RLAEF laisse d'ailleurs deux ans au boursier pour reprendre des études momentanément suspendues, ce qui lui confère une certaine marge de manoeuvre par rapport à des problèmes pouvant survenir au cours des études.
Finalement, la garde de l'enfant est certes un problème, compte tenu du manque de place dans les crèches, mais il est soutenable de considérer qu'une solution pouvait être trouvée de manière à pouvoir continuer à étudier.
2.4. En conséquence, en considérant que la grossesse en cause, même non planifiée, ne constituait pas un motif propre à entraîner l'impossibilité de poursuivre les études, et donc une raison impérieuse au sens de l'art. 28 LAEF, le Tribunal cantonal n'a pas appliqué cette disposition de façon arbitraire.
3.
Le recourant, dans une motivation dont il est douteux qu'elle réponde aux exigences en la matière (cf. consid. 1.2), se plaint d'une violation du principe d'égalité (sur cette notion, cf. <ref-ruling> consid. 6.2.1 p. 348). Il estime que l'arrêt attaqué traite de la même manière deux situations dissemblables, soit celle de l'étudiant au bénéfice d'une bourse qui décide d'avoir un enfant et celui qui doit gérer une grossesse non planifiée.
3.1. Comme déjà relevé, il est indéniable que, du point de vue des parents, ces deux situations sont différentes. Dans les deux cas, en revanche, il s'agit d'une naissance à assumer durant les études. En cela, c'est-à-dire par rapport à la situation relevante en l'espèce, le contexte est identique. En outre, d'un point de vue juridique et plus particulièrement du fardeau de la preuve, on ne voit pas comment une telle différenciation, soit entre les grossesses désirées et celles qui ne le sont pas, pourrait être opérée.
3.2. Au regard de ce qui précède, le grief de la violation du principe d'égalité doit être rejeté.
4.
Le recourant invoque le principe de la bonne foi de l'<ref-law>. Il met en avant le fait qu'il a assumé la raison pour laquelle il avait arrêté ses études, alors qu'il aurait pu se mettre en situation d'échec définitif, ce qui lui aurait permis de ne pas devoir rembourser la bourse perçue.
4.1. En droit public, le principe de la bonne fois découle de la Constitution. Aux termes de l'art. 5 al. 3 Cst., les organes de l'État et les particuliers doivent agir de manière conforme aux règles de la bonne foi. De ce principe général découle notamment le droit fondamental du particulier à la protection de sa bonne foi dans ses relations avec l'État, consacré à l'art. 9 in fine Cst. (<ref-ruling> consid. 8.3.1 p. 53; sur les conditions de la bonne foi, cf. <ref-ruling> consid. 3.6.2 p. 193).
4.2. Aucun argument ne peut être tiré du fait qu'un comportement justement contraire au principe de la bonne foi, soit de se mettre délibérément en situation d'échec définitif, aurait peut-être permis au recourant de ne pas restituer l'aide octroyée. En plus, il n'est pas prouvé que tous les échecs définitifs ont pour conséquence de ne pas devoir rembourser les montants perçus.
Le recourant connaissait le statut particulier de boursier, lequel implique certains devoirs, tel que celui de ne pas interrompre ses études de façon définitive sans raison impérieuse. On ne voit pas en quoi le principe de la bonne foi aurait été violé.
5.
Dans un moyen relatif à la protection de la personnalité (<ref-law>), le recourant allègue à nouveau que sa seule chance de ne pas devoir rendre l'argent perçu aurait été de se mettre en situation d'échec définitif; cependant, un tel échec lui aurait fermé les portes de la faculté de droit, ce qui aurait constitué une atteinte à sa personnalité.
Une telle argumentation est dépourvue de tout fondement juridique et confine à la témérité. Arguer d'un comportement abusif, en tant qu'il aurait eu pour but de contourner l'esprit de la loi sur l'aide aux études (soit se mettre en échec définitif pour obtenir de ne pas rembourser l'aide reçue), pour se plaindre d'une violation de la protection de la personnalité est, en effet, pour le moins audacieux. Ce moyen tombe donc à faux.
6.
Dans un dernier grief, le recourant dénonce une violation du principe de la légalité (art. 5 al. 1 Cst.). Il rappelle que l'art. 9 LAEF prévoit que, sous réserve d'exception, l'aide aux études est accordée sous la forme d'allocations à fonds perdus et que l'art. 28 LAEF, qui arrête les conditions d'un éventuel remboursement (cf. consid. 2.1), est une disposition potestative. En faisant du remboursement des bourses la règle et non l'exception, l'Office des bourses violerait le principe de la légalité.
6.1. Le principe de la légalité, consacré à l'art. 5 al. 1 Cst., selon lequel le droit est la base et la limite de l'activité de l'État, ne constitue pas (hormis en matière pénale et fiscale) un droit constitutionnel distinct mais uniquement un principe constitutionnel.
Selon la jurisprudence, le recours en matière de droit public permet de se plaindre directement et indépendamment d'un droit fondamental de la violation de ce principe, au même titre que du principe de la proportionnalité ancré à l'art. 5 al. 2 Cst. Toutefois, dans l'application du droit cantonal, à part les restrictions aux droits fondamentaux (art. 36 al. 1 Cst.), le Tribunal fédéral n'intervient en cas de violation du principe de la légalité que si la mesure de droit cantonal viole simultanément l'interdiction de l'arbitraire (<ref-ruling> consid. 2.5 p. 249; <ref-ruling> consid. 2.1 p. 326).
6.2. Outre qu'il est douteux que le moyen soit motivé conformément aux exigences en la matière (cf. consid. 1.2), comme on l'a vu ci-dessus, l'arrêt attaqué ne viole pas l'interdiction de l'arbitraire et, dès lors, le grief du recourant tombe à faux. Quoi qu'il en soit, on ne voit pas en quoi le principe de la légalité serait violé. L'art. 9 LAEF énonce la règle de l'octroi de l'aide à fonds perdus. La même loi contient l'exception (art. 28 LAEF), selon laquelle cette aide peut devoir être remboursée lorsque les études sont arrêtées sans raison impérieuse, qui est complétée par l'art. 16 al. 2 RLAEF. La forme potestative de l'art. 28 LAEF laisse une marge de manoeuvre importante aux autorités cantonales dans son application. Compte tenu de cette marge de manoeuvre, du fait que la condition du remboursement est clairement énoncée dans une disposition légale au sens formel et que cette disposition a été appliquée correctement, on ne voit pas en quoi le principe de la légalité aurait été violé.
7.
Il découle de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000.- fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à l'Office des bourses et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 15 novembre 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Jolidon