Faits :
A.
Par "contrat de travail pour le personnel auxiliaire" du 27 avril 2004, la Commune de V._ a engagé A._, né en 1956, en qualité de responsable de la déchetterie à partir du 1 er mai 2004. Le contrat faisait explicitement référence aux art. 319 ss du Code des obligations. Le salaire horaire brut convenu s'élevait à 22 fr. (vacances comprises). L'employé avait droit en outre à une indemnité annuelle pour les frais de voiture et de téléphone de 100 fr. Il était précisé que la commune s'engageait à annoncer suffisamment à l'avance "toutes modifications futures du règlement, du cahier des charges, directives et consignes".
Les 14 et 19 mars 2013, A._ a été informé de la suppression de certaines de ses tâches, impliquant une réduction de ses heures de travail. Après divers échanges de correspondance, la commune a confirmé à l'intéressé la réduction de son horaire de travail et lui a proposé un nouveau cahier des charges à partir du 1er août 2013 (lettre du 10 mai 2013).
Le 20 mai 2013, A._ a recouru devant le Préfet de X._ en contestant les motifs avancés par la commune pour justifier la diminution de ses heures de travail. Statuant le 2 septembre 2013, le préfet a déclaré le recours irrecevable au motif que les parties étaient liées par un contrat de droit privé et que, par conséquent, la contestation relevait de la juridiction des prud'hommes.
B.
A._ a recouru en concluant à l'annulation de cette décision et au renvoi de la cause au Préfet de X._ pour qu'il statue au fond. Il faisait valoir, en résumé, que son statut était soumis au droit public et qu'en conséquence, la voie du recours administratif était ouverte à l'encontre de la décision de la commune.
Par arrêt du 12 février 2014, la Ie Cour administrative du Tribunal cantonal fribourgeois a rejeté le recours.
C.
A._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire dans lesquels il conclut à l'annulation de l'arrêt cantonal et demande au Tribunal fédéral de constater que le contrat de travail conclu le 27 avril 2004 entre les parties est soumis au droit public.
La Commune de V._ n'a pas déposé de réponse.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 44).
2.
2.1. La présente cause a ceci de particulier que le point de savoir si l'on est en présence d'une cause de droit public relevant du droit de la fonction publique au sens de l'art. 83 let. g LTF est une question qui constitue précisément l'objet du litige porté devant le Tribunal fédéral. L'examen de la recevabilité du recours suppose donc de résoudre une question qui se recoupe avec le fond du litige. Dans un tel cas, il suffit, au stade de la recevabilité, que le recourant rende vraisemblable que, sur la question litigieuse, les conditions fondant la compétence du tribunal sont remplies, le point de savoir si tel est effectivement le cas étant ensuite tranché, pour autant que les autres conditions de recevabilité propres à la matière soient réunies, avec l'examen de la cause au fond (application de la théorie de la double pertinence; cf. arrêts 2C_11/2010 du 25 novembre 2010 consid. 1.1, non publié in <ref-ruling>; 2C_484/2008 du 9 janvier 2009 consid. 1.3 non publié in <ref-ruling>; 2C_134/2013 du 6 juin 2014 consid. 2.3).
2.2. Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre les décisions qui concernent une contestation non pécuniaire. En matière pécuniaire, le recours n'est en principe recevable que si la valeur litigieuse atteint 15'000 fr. (<ref-law>). La valeur litigieuse est calculée en fonction de celle de la cause au fond.
2.3. Une affaire doit être considérée comme pécuniaire dès lors qu'elle vise un but économique et que son objet peut être apprécié en argent. Selon les allégués non contestés du recourant, le litige au fond porte sur la suppression de trois heures de travail par semaine, avec effet au 1 er août 2013. Son objet vise un but économique qui peut être apprécié en argent. S'agissant d'une mesure prise pour une durée indéterminée, il y a lieu d'admettre que le seuil requis de 15'000 fr. est atteint (cf. <ref-law>).
2.4. S'agissant d'un litige qui ressortirait au droit de la fonction publique, la voie du recours en matière de droit public serait donc ouverte en l'espèce. La recours constitutionnel subsidiaire est ainsi d'emblée irrecevable (<ref-law>).
3.
D'après l'art. 70 de la loi [du canton de Fribourg] du 25 septembre 1980 sur les communes (LCo; RSF 140.1), les communes peuvent, sous réserve des dispositions de la LCo, adopter, par un règlement de portée générale, leurs propres règles relatives au personnel (al. 1). A défaut d'un règlement communal de portée générale et sous réserve de la LCo, les dispositions de la loi sur le personnel de l'Etat, hormis les articles 4 à 23, 132 al. 1 et 2 et 133 al. 1, ainsi que ses dispositions d'exécution s'appliquent par analogie au personnel communal à titre de droit communal supplétif (al. 2). Conformément à l'art. 70 al. 1 LCo, la Commune de V._ a adopté en mars 2004 le règlement du personnel communal (RPers), dont l'art. 1 er al. 1 prévoit que ledit règlement régit les rapports de travail, de droit public, du personnel communal.
L'ancienne version de l'art. 4 RPers - applicable au moment de l'engagement du recourant - prévoyait ceci:
Le Conseil communal peut engager d'autres catégories de personnel, notamment auxiliaire ou temporaire. Elles sont notamment soumises aux dispositions du Code des obligations et de la Loi sur le travail et font l'objet d'un contrat de travail spécifique (al. 1).
Pour la rémunération des autres catégories de personnel, le Conseil communal se réfère aux salaires versés sur le marché du travail, aux conventions collectives et à l'équité à respecter envers les autres collaborateurs et collaboratrices de la commune (al. 2).
4.
4.1. Le recourant se prévaut de l'art. 8 al. 1 Cst. Selon lui, ce n'est que dans des circonstances tout à fait exceptionnelles que le droit privé peut s'appliquer à des employés d'une collectivité publique. Il faudrait, pour cela, que les prestations d'une corporation de droit public présentent un caractère lucratif industriel ou commercial et soient en concurrence avec celles qu'offre ou pourrait offrir une entreprise privée. Dans ce cas, la corporation publique se comporte alors comme n'importe quelle autre personne privée. Pour le reste, le recours au droit privé ne pourrait viser que des situations exceptionnelles, soit celles de personnes engagées pour une durée limitée ou dans un but clairement défini qui nécessite de ce fait une réglementation spéciale. Selon le recourant, ce type d'engagement doit rester exceptionnel et n'être utilisé que lorsqu'il correspond au but recherché. Il ne saurait être prévu d'engager par contrat de droit privé des personnes pour occuper des postes nécessaires au fonctionnement de la collectivité publique.
4.2.
4.2.1. Bien que la plupart des cantons ou communes aient abandonné le régime de la période administrative ou de la fonction de durée déterminée au profit d'engagements des agents de l'Etat pour une période indéterminée, impliquant la possibilité en tout temps d'une résiliation ordinaire, les statuts de la fonction publique restent pour l'essentiel soumis au droit public. Cela n'exclut pas que les réglementations applicables contiennent des renvois au droit privé, mais celui-ci ne s'applique généralement qu'à titre de droit public supplétif ( MAHON/ROSELLO, Les réformes en cours du droit de la fonction publique: tendances et perspectives, in Les réformes de la fonction publique, Tanquerel/Bellanger [éd.], 2012, p. 28 sv; BELLANGER/ROY, Evolution du cadre légal et réglementaire de la fonction publique suisse, in Manuel d'administration publique suisse, 2013, p. 461 ss, plus particulièrement p. 474 ss; <ref-ruling> consid. 5.1 p. 59).
4.2.2. La Constitution fédérale ne règle pas la nature juridique des rapports de travail des employés des collectivités publiques. Les motifs qui plaident en faveur du rapport de droit public résident notamment dans la nature particulière de l'Etat et des tâches exercées par son personnel, les contraintes constitutionnelles qui pèsent sur l'Etat employeur, ainsi que l'absence de besoin d'un recours au droit privé (voir p. ex. THIERRY TANQUEREL, Droit public et droit privé: unité et diversité du statut de la fonction publique, in Les réformes de la fonction publique, Tanquerel/Bellanger [éd.], 2012, p. 69 ss). Aussi bien la doctrine majoritaire privilégie-t-elle le droit public pour régler les rapports de travail du personnel de l'Etat tout en admettant, avec plus ou moins de restrictions, la possibilité de recourir aux contrats de droit privé pour certains salariés ( THIERRY TANQUEREL, op. cit., p. 71 ss; MÜLLER/VON GRAFFENRIED, Unterschiede zwischen privatrechtlicher und öffentlich-rechtlicher Anstellung, recht 2011, p. 156 ss; MARCO DONATSCH, Privatrechtliche Arbeitsverträge und der öffentliche Dienst, in Jusletter 3. mai 2010; PETER HÄNNI, Personalrecht des Bundes, in Schweizerisches Bundesverwaltungsrecht [SBVR], Organisationsrecht, 2e éd., 2004, n. 38 ss; Felix Hafner, Rechtsnatur der öffentlichen Dienstverhältnisse, in Personalrecht des öffentlichen Dienstes, 1999, p. 181 ss; MINH SON NGUYEN, Le recours par l'administration au contrat de travail pour engager du personnel, in Le travail et le droit, 1994, p. 3 ss; René A. Rhinow, Privatrechtliche Arbeitsverhältnisse in der öffentlichen Verwaltung, in Festschrift für Frank Vischer, 1983, p. 429 ss, plus spécialement p. 442). Il n'existe donc pas d 'exclusion générale du recours au droit privé pour réglementer les rapports de travail du personnel étatique. On notera d'ailleurs dans ce contexte que l'art. 6 al. 5 de la loi fédérale du 24 mars 2000 sur le personnel de la Confédération (LPers; RS 172. 220.1) prévoit que le Conseil fédéral peut soumettre au Code des obligations certaines catégories de personnel, notamment le personnel auxiliaire et les stagiaires, lorsque cette mesure se justifie.
4.2.3. Pour sa part, le Tribunal fédéral, sans se prononcer sur le point de savoir si les cantons peuvent de manière générale soumettre les rapports de travail qui les lient à des collaborateurs au droit privé, a précisé qu'un tel engagement de droit privé suppose en tous les cas qu'il trouve un fondement dans une réglementation cantonale (ou communale) claire et sans équivoque et qu'il ne soit pas exclu par le droit applicable (<ref-ruling> consid. 3 p. 217; cf. aussi arrêt 2P.18/2006 du 19 mai 2006 consid. 2.3). Il a jugé admissible le recours au droit privé s'agissant d'une directrice d'une crèche gérée tout d'abord par une fondation, puis par un comité de gestion mandaté par le conseil administratif d'une commune (arrêt 8C_597/2010 du 14 juillet 2011). Dans l'arrêt 2P.181/2002 du 4 février 2003, il y avait un contrat de travail qui avait été signé par les deux parties, à savoir une ergothérapeute et une association subventionnée par le canton; ledit contrat renvoyait certes, pour ce qui était du salaire, à la classification cantonale des traitements et il avait été ratifié par l'exécutif cantonal; cependant, il n'était pas contesté que l'intéressée avait été engagée sur la base d'un contrat de travail, et non pas en qualité de fonctionnaire; par conséquent, le droit des obligations était applicable à son cas, en particulier à la résiliation de ses rapports de travail. Dans une autre affaire, concernant un employé du canton du Valais, le Tribunal fédéral a précisé que pour déterminer si un rapport juridique relevait du droit privé ou du droit public, on ne pouvait pas se fonder sur la qualification juridique utilisée par les parties. Ce qui était décisif, c'était le contenu réel du rapport de droit (arrêt 2P.151/2005 du 9 février 2006 consid. 5). Dans cette affaire, l'Etat apparaissait comme l'employeur direct et l'intéressé avait été traité comme un fonctionnaire soumis au droit public pendant toute la durée de son engagement. Les éléments de droit public de ses rapports de service l'emportaient ainsi sur l'élément "contrat de droit privé" qui, formellement, était prédominant dans la décision d'engagement.
4.2.4. Dans le cas particulier, il est incontesté que le recourant a été engagé sur la base d'un contrat de travail soumis au droit privé et non pas selon les règles applicables au personnel communal en général. Il n'existe aucun élément qui ferait apparaître que cette qualification ne correspondait pas à la volonté des parties ou à la réalité du contenu de la relation. Il se pose dès lors la question d'une éventuelle requalification du contrat de droit privé en une relation de droit public (cf. MAHON/ROSELLO, op. cit., p. 30). Une requalification peut se justifier s'il apparaît que la réglementation applicable ne laisse pas de place au droit privé ou que les conditions posées pour qu'il soit possible d'y recourir ne soient pas réalisées ( THIERRY TANQUEREL, L'évolution du statut de la fonction publique dans l'administration centrale, in Le droit du travail en pratique, vol. 18, Journées de droit administratif 4 et 5 mars 1999, Gabriel Aubert [éd.], 2000, p. 16). Elle peut aussi intervenir en application du principe de l'égalité de traitement s'il n'existe aucune raison objective de faire coexister des statuts différents (de droit privé et de droit public); il importe dans de tels cas de ne pas laisser subsister des situations non conformes à la Constitution fédérale (cf. THIERRY TANQUEREL, Droit public et droit privé: unité et diversité du statut de la fonction publique, in Les réformes de la fonction publique, Tanquerel/Bellanger [éd.], 2012, p. 74).
4.2.5. En l'espèce, les conditions d'une requalification ne sont pas remplies. Comme on l'a vu, le règlement communal applicable prévoyait la possibilité d'un engagement selon le droit privé. Il n'est pas prétendu que le droit cantonal y fasse obstacle. Sans doute l'emploi du recourant ne pouvait pas, à proprement parler, être qualifié d'auxiliaire au sens de l'art. 4 RPers. Ce qualificatif s'applique en effet lorsque l'employeur a besoin de temps en temps des prestations d'un travailleur et présente certaines similitudes avec le contrat de travail sur appel ( JEAN-PHILIPPE DUNAND, in Commentaire du contrat de travail, Dunand/Mahon [éd.], 2013, n. 60 ad <ref-law>; BRUNNER/BÜHLER/ WAEBER/BRUCHEZ, Commentaire du contrat de travail, 3e éd., 2004, n. 1 ss p 407 ss; voir aussi <ref-ruling> consid. 7.2.1 p. 462). De même, l'emploi du recourant, de durée indéterminée, n'avait pas un caractère temporaire, permettant aussi, selon le règlement, un engagement de droit privé. L'utilisation à l'art. 4 RPers de l'adverbe "notamment" laisse toutefois à l'autorité une certaine marge d'appréciation quant à la possibilité de soumettre au Code des obligations d'autres formes particulières de travail. Dans le cas particulier, le recourant travaillait à temps très partiel. Dans un certificat de travail daté du 20 mai 2013, l'employeur a mentionné un horaire de travail de 30 heures "environ" par mois. Il s'agissait d'une activité purement accessoire. En effet, comme cela ressort du jugement attaqué, le recourant avait une activité principale à plein temps comme fonctionnaire au service de l'Etat de Vaud. L'égalité de traitement ne commande pas de soumettre à un même statut un employé communal qui est engagé par une seule et même collectivité et une personne qui a un emploi à plein temps au service de l'Etat, et qui, accessoirement et pour un nombre très limité d'heures de travail, se met au service d'une commune pour y accomplir une tâche spécifique. Dans ce dernier cas, le recours au droit privé peut se justifier par le fait qu'une réglementation de droit public n'est guère adaptée à ce genre très particulier de situation et qu'il peut être nécessaire d'individualiser la relation de travail par une convention de droit privé. Le fait qu'un emploi à temps partiel s'exerce en plus d'un horaire normal de travail peut requérir une certaine flexibilité de la part de l'employé, notamment quant au nombre d'heures de travail à fournir et quant à sa disponibilité par rapport à son activité principale à plein temps. Il est révélateur, à ce propos, que le contrat de travail conclu entre les parties ne prévoit pas un temps de travail minimal à accomplir et que l'employeur l'a estimé à 30 heures "environ" par mois. On peut en déduire que l'horaire accompli dépendait du cahier des charges de l'intéressé que la commune, d'ailleurs, se réservait de modifier tout en s'engageant à en informer suffisamment tôt l'intéressé, ainsi que cela ressort du contrat.
4.2.6. D'autre part, les tâches assignées au recourant étaient certes des tâches d'intérêt public. Cependant, contrairement à ce qu'il soutient, elles n'étaient pas liées au bon fonctionnement de la collectivité au point qu'elles ne pouvaient être confiées qu'à une personne soumise à un statut de droit public. En effet, il est notoire que nombre de petites communes confient à des entreprises privées tout ou partie de la collecte et de la gestion des déchets.
5.
En conclusion, il y a lieu d'admettre que la relation entre les parties était soumise au droit privé, conformément au contrat qu'elles avaient conclu. On n'est donc pas en présence d'un litige relevant de la fonction publique. Le recours doit dès lors être rejeté dans la mesure de sa recevabilité.
6.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel est irrecevable.
2.
Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Ie Cour administrative du Tribunal cantonal fribourgeois.
Lucerne, le 18 février 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : von Zwehl