Faits : A. X._, né en 1979, a commencé en septembre 2009 des études à la faculté de droit de l'Université de Neuchâtel. Par décision du 26 janvier 2010, l'Office cantonal des bourses d'études et d'apprentissage du canton de Vaud (ci-après: l'Office des bourses) lui a octroyé une aide de 24'340 fr. pour la période allant de septembre 2009 à août 2010. Le 26 décembre 2010, il a également obtenu une aide, se montant à 24'340 fr., pour la période allant de septembre 2010 à août 2011. Le 23 novembre 2011, X._ a décidé d'interrompre ses études de droit en prévision de la naissance de son fils en avril 2012. Il ne les a pas reprises depuis lors. L'Office des bourses, par décision du 2 octobre 2014, confirmée par décision sur réclamation du 4 décembre 2014, a exigé le remboursement du montant de 51'080 fr. correspondant à l'aide financière versée de septembre 2009 à août 2011. Cet office a considéré, sans nouvelles de X._, que l'intéressé avait renoncé à terminer sa formation. B. Par arrêt du 14 avril 2015, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de X._ à l'encontre de la décision sur réclamation du 4 décembre 2014. Il a considéré en substance que la naissance d'un enfant ne constituait pas une raison impérieuse d'arrêter les études; partant, il ne se justifiait pas de renoncer à la restitution des allocations octroyées. De plus, la demande de remboursement ne violait pas le principe d'égalité par rapport aux étudiants qui se trouvaient en situation d'échec définitif et qui ne devaient pas rendre le montant perçu. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt du 14 avril 2015 du Tribunal cantonal, ainsi que la décision sur réclamation du 4 décembre 2014 de l'Office des bourses, subsidiairement, d'annuler l'arrêt du 14 avril 2015 du Tribunal cantonal et de renvoyer la cause à l'Office des bourses pour une nouvelle décision dans le sens des considérants. Le Tribunal cantonal conclut au rejet du recours. Les observations de l'Office des bourses sont tardives.