Faits:
A.
A.a. Par contrat de travail de droit privé, le Département de la justice, de la sécurité et des finances du canton de Neuchâtel a engagé A._, née en 1959, en qualité de X._ en formation dès le 1 er avril 2007 pour une durée maximale de 5 ans. Ces rapports de travail ont pris fin d'un commun accord entre l'employeur et la prénommée avec effet au 31 décembre 2007, dès lors qu'un nouveau contrat de travail de droit privé avait été conclu entre les parties le 14 décembre 2007. Aux termes de celui-ci, A._ était engagée en qualité de collaboratrice administrative à temps partiel (70 %) à l'Office Y._ dès le 1 er janvier 2008 pour une durée indéterminée. Son taux d'activité a été augmenté à 90 % dès le 1 er juillet 2009.
Selon l'intéressée, le chef du Service B._ et le chef de l'Office Y._ l'auraient informée, le 31 mai 2010, qu'elle ne faisait plus partie du personnel et l'auraient priée d'intégrer l'Etablissement Z._, à C._, où elle avait entre-temps postulé. Le 7 juin 2010, lors d'une entrevue avec un collaborateur du Service des ressources humaines de l'Etat (ci-après: SRHE), A._ a confirmé à celui-ci qu'elle commençait un nouvel emploi le jour même auprès de l'Etablissement Z._ et lui a remis ses clefs professionnelles. Le 10 juin 2010, le SRHE a fait parvenir à A._ pour signature une convention constatant la fin des rapports de travail au 4 juin 2010. Cette convention n'a pas été signée par la prénommée.
Le 30 septembre 2010, par l'intermédiaire de son mandataire, A._ a demandé la modification de son certificat de travail (suppression de la phrase " elle nous a quitté de son plein gré le 4 juin 2010 pour occuper une nouvelle fonction dans le domaine B._ "), estimant qu'il n'était pas conforme à la réalité. Le SRHE n'est pas entré en matière sur cette demande. Il a par ailleurs informé l'intéressée qu'il envisageait de constater par écrit la fin des rapports de travail de droit privé depuis le 4 juin 2010 et lui a imparti un délai pour déposer ses observations.
Le 10 décembre 2010, A._ a contesté la fin de ses rapports de travail le 4 juin 2010 par abandon de poste. Faisant valoir qu'elle aurait dû être engagée par contrat de droit public, elle a réclamé une indemnité correspondant à deux mois de salaire pour licenciement immédiat sans justes motifs ainsi qu'une indemnité pour tort moral en raison de mobbing. Elle a en outre requis qu'il soit mentionné dans son certificat de travail qu'elle avait travaillé en tant que X._ depuis le 1 er avril 2007 puis auprès de l'Office Y._ du 1 er septembre 2007 au 31 mai 2010. Enfin, elle a demandé le versement de son salaire jusqu'à fin juillet 2010.
Par décision du 18 janvier 2011, le SRHE a constaté la fin des rapports de service au 4 juin 2010. Il a par ailleurs rejeté la demande de correction du certificat de travail et les demandes d'indemnités.
A.b. A._ a interjeté un recours contre cette décision devant le Département de la justice, de la sécurité et des finances (ci-après: le DJSF), lequel l'a rejeté par décision du 18 avril 2012.
B.
A._ a recouru devant la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel. Elle a conclu principalement à ce qu'il fût constaté que les rapports de travail n'avaient pas pris fin, subsidiairement, à l'octroi d'une indemnité de 26'120 fr. 50 pour résiliation abusive, respectivement de 15'672 fr. 30 pour résiliation injustifiée. Elle a en outre réclamé l'octroi d'une indemnité de 5'224 fr. 10 pour tort moral " pour mobbing " et demandé qu'un certificat de travail conforme lui fût délivré, le tout sous suite de frais et dépens.
Par arrêt du 17 mai 2013, la Cour de droit public a rejeté le recours.
C.
A._ recourt contre ce jugement dont elle requiert l'annulation, reprenant les mêmes conclusions que devant les premiers juges, sous suite de frais et dépens.
Le SRHE conclut au rejet du recours.

Considérant en droit:
1.
Le jugement entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Il s'agit d'une contestation de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. On notera que les litiges relatifs à l'établissement ou à la formulation de certificats de travail sont des contestations pécuniaires (<ref-ruling> consid. 2b p. 380; arrêt 8C_151/2010 du 31 août 2010 consid. 2.2), de sorte que sur ce point également, le motif d'exclusion de l'art. 83 let. g LTF n'entre pas non plus en considération. La valeur litigieuse dépasse par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
2.
Le recours en matière de droit public peut être interjeté pour violation du droit, au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, il n'examine que les griefs soulevés, sauf en présence de violations de droit évidentes (<ref-ruling> consid. 1.6 p. 280). En outre, le Tribunal fédéral ne se prononce sur la violation de droits fondamentaux que s'il se trouve saisi d'un grief motivé de façon détaillée conformément aux exigences accrues de l'<ref-law>. Le recourant doit énoncer le droit ou principe constitutionnel violé et exposer de manière claire et circonstanciée en quoi consiste la violation (cf. <ref-ruling> consid. 1.4 p. 176).
3.
Le Tribunal fédéral conduit par ailleurs son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
4.
4.1. Les premiers juges ont tout d'abord constaté que c'était à juste titre que le SRHE et le DJSF avaient admis que les rapports de service entre la recourante et l'Etat de Neuchâtel relevaient du droit public. Ils ont ensuite retenu qu'aucune procédure de licenciement n'avait formellement été entamée à l'encontre de la recourante. En outre, quel que fût son statut au sein de la fonction publique, l'administration ne lui avait notifié aucun congé ou décision écrite par laquelle elle aurait résilié unilatéralement les rapports de service. Enfin, à supposer que la fin des relations de travail lui ait été signifiée oralement, comme l'alléguait la recourante, une telle communication n'aurait eu aucune valeur en l'absence d'une décision écrite venant la confirmer. A défaut d'une telle décision, les demandes d'indemnités pour résiliation abusive ou injustifiée étaient d'emblée mal fondées.
4.2. En l'absence de résiliation en bonne et due forme, de démission écrite ou d'accord écrit, la juridiction cantonale s'est demandée si les rapports de service avaient néanmoins pris fin et, le cas échéant, à quelle date. Dans la mesure où la recourante contestait qu'une résiliation conventionnelle fût intervenue, elle aurait dû, selon les premiers juges, soit se présenter à son poste ou offrir ses services, soit donner son congé ou sa démission par écrit dans les délais légaux. Aucune de ces hypothèses n'étant réalisée en l'espèce, la juridiction cantonale a ensuite examiné s'il y avait eu abandon d'emploi. Celui-ci pouvait être retenu au vu de l'absence de la recourante à son poste de travail depuis plus de 20 mois au moment de la décision du DJSF du 18 avril 2012 et depuis plus de 7 mois au moment de la décision du SRHE du 18 janvier 2011. Le fait que la recourante travaillait depuis le 7 juin 2010 à plein temps et pour une durée indéterminée dans un autre canton suffisait également à retenir l'abandon d'emploi. Par ailleurs, il ne ressortait pas du dossier que depuis le 7 juin 2010, la recourant eût proposé ses services au sein de l'Office Y._, ce qu'elle n'aurait de toute façon pas pu faire au vu de son nouvel emploi. Le dernier jour des rapports de service entre les parties avait donc été le 4 juin 2010. Partant, c'était à juste titre que la fin des rapports de service avait été formalisée par décision du 18 janvier 2011 et que le certificat de travail de la recourante n'avait pas été modifié.
5.
5.1. La recourante conteste que les relations de travail avec l'administration cantonale neuchâteloise aient pris fin à ce jour. Elle soutient qu'elle n'a pas abandonné son emploi mais s'est vue contrainte d'en chercher un nouveau car elle croyait de bonne foi que son contrat de travail avait été résilié oralement.
Même en admettant que la recourante ait cru - à tort ou à raison - avoir été licenciée oralement, elle ne pouvait plus ignorer que tel n'avait pas été le cas au plus tard à réception du courrier du SRHE du 10 juin 2010, par lequel celui-ci lui proposait de mettre fin conventionnellement à leurs rapports de service avec effet au vendredi 4 juin 2010, soit juste avant l'entrée en fonction de la recourante au sein de l'Etablissement Z._. Par ailleurs, la recourante ne conteste pas les constatations du jugement attaqué selon lesquelles elle a commencé à travailler le 7 juin 2010 à plein temps et pour une durée indéterminée dans le canton de C._ où elle travaillait encore le 8 septembre 2011, a restitué les clefs de son poste à l'Office Y._ le 7 juin 2010 et n'y a plus travaillé au moins depuis cette date. Or, selon la jurisprudence, une absence de plusieurs mois doit être considérée comme un refus intentionnel et définitif de poursuivre les rapports de travail, même si, après coup, le travailleur offre subitement et inopinément de reprendre le travail. Dans ce cas, la durée de l'absence suffit en soi pour admettre que le salarié a démontré sa volonté d'abandonner son emploi (<ref-ruling> consid. 3a p. 282). Il résulte de ce qui précède qu'en retenant que la recourante avait abandonné son emploi, les premiers juges ne sont pas tombés dans l'arbitraire. L'abandon d'emploi exclut les prétentions de la recourante en cas de résiliation abusive ou injustifiée.
5.2. En ce qui concerne le certificat de travail, la recourante conteste la mention du 4 juin 2010 comme date de la fin des rapports de service. Cette date correspond à la réalité vu ce qui précède. C'est donc à juste titre que les premiers juges ont retenu qu'une modification du certificat ne se justifiait pas.
6.
La recourante conteste en outre le jugement attaqué en tant que celui-ci retient qu'elle n'a pas été victime de mobbing.
6.1. La juridiction cantonale a retenu que dès le moment où l'intéressée s'était plainte de mauvaises relations de travail avec sa collègue, ses supérieurs n'étaient pas restés inactifs puisqu'ils l'avaient déplacée dans un autre bureau, mesure dont la recourante s'était déclarée satisfaite. S'agissant ensuite du comportement reproché à ses supérieurs, les premiers juges ont constaté qu'entre 2008 et 2009, le travail de la recourante avait été évalué à de nombreuses reprises et celle-ci avait ressenti comme un certain acharnement le fait de rechercher et communiquer toute éventuelle erreur de sa part. Il ne ressortait toutefois pas du compte-rendu d'entretien, ni d'autres éléments du dossier que ces évaluations ou ces entretiens avaient été une tentative de l'isoler, de la marginaliser ou de l'exclure de son lieu de travail, d'autant moins que son taux de travail avait été augmenté à 90 % dès le 1 er juillet 2009. Certaines erreurs qui lui avaient été reprochées n'apparaissaient en outre pas totalement infondées dans la mesure où l'intéressée en avait admis une partie et qu'elle avait déclaré avoir besoin d'un cours d'organisation du travail. Il apparaissait plutôt que plusieurs opportunités lui avaient été données pour se conformer aux exigences du poste. Si la situation avait peut-être été difficile pour la recourante pour des motifs relationnels dans le cadre d'un nouvel emploi, les premiers juges ne discernaient toutefois pas d'éléments de mobbing. Le fait que la recourante n'avait consulté qu'à une seule reprise le groupe de confiance confirmait que tel n'était pas le cas.
6.2. La recourante fait valoir que contrairement à ce que retiennent les premiers juges, la situation s'est détériorée après qu'elle a été déplacée dans un autre bureau, les actes perpétrés étant plus sournois encore. Ses supérieurs hiérarchiques lui auraient en outre mis la pression pour l'isoler et la marginaliser davantage en lui fixant des objectifs irréalisables, augmentant de surcroît son taux d'activité. Par ailleurs, la recourante fait valoir qu'à défaut d'avoir été engagée par un contrat de droit public, elle possédait un statut provisoire, lequel maintenait sur elle une pression constante et croissante.
6.3. Dans la mesure où la recourante présente une version des faits qui s'écarte de ceux retenus par les premiers juges, sans démontrer en quoi ceux-ci auraient été établis de manière arbitraire, le grief est irrecevable.
Quant au fait que la recourante n'a pas été engagée par un contrat de droit public, il ne permet pas non plus d'accueillir le grief invoqué. Comme l'ont retenu les premiers juges et indépendamment de la qualification erronée de son contrat de travail, la recourante a été engagée depuis le 1 er janvier 2008 pour une durée indéterminée, de sorte que son poste ne présentait pas un caractère provisoire.
Certes, on peut se demander si, en engageant erronément la recourante sur la base d'un contrat de droit privé, les supérieurs hiérarchiques de l'intéressée n'ont pas manqué aux devoirs qui leur incombaient. Quoi qu'il en soit, à supposer qu'il constitue un indice d'atteinte aux droits de la personnalité, un tel manquement ne saurait toutefois être assimilé à un acte de mobbing. Par définition, en effet, le harcèlement psychologique est constitué par un enchaînement de propos et/ou d'agissements hostiles, répétés de manière fréquente et durable (arrêt 8C_358/2009 du 8 mars 2010 consid. 5.1). Le mobbing ne saurait toutefois résulter d'une irrégularité - certes pas dénuée d'importance - d'ordre administratif. Il n'est en tout cas nullement établi que les supérieurs hiérarchiques de la recourante aient profité de son statut pour exercer à son endroit des pressions inadmissibles. Le grief soulevé ici n'est dès lors pas fondé.
7.
Le recours doit par conséquent être rejeté. La recourante, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué aux parties et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel.
Lucerne, le 7 mai 2014
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente: Leuzinger
La Greffière: Fretz Perrin