Faits :
A.
A._, né en 1968, a été engagé en qualité de conseiller scientifique par la Direction des institutions, de l'agriculture et des forêts (DIAF) du canton de Fribourg, à un taux d'activité de 50 % dès le 1 er août 2007. Une partie de son temps de travail, puis à compter du printemps 2013 la totalité, était consacrée à une activité de secrétaire suppléant auprès de l'Autorité foncière cantonale (AFC). Parallèlement, A._ travaillait comme agriculteur.
En raison d'interventions parlementaires et à la suite d'une dénonciation, la Conseillère d'Etat en charge de la DIAF a ouvert, le 26 mai 2015, une enquête administrative concernant le fonctionnement de l'AFC et de son secrétariat, et en a confié l'instruction à M e B._. Dans son rapport final du 19 février 2016, ce dernier a mis en évidence les risques de conflits d'intérêts pouvant toucher les membres de l'AFC en raison d'une activité parallèle d'agriculteur et a notamment conclu à l'ouverture d'une procédure à l'endroit de A._.
Le 12 mai 2016, la Conseillère d'Etat a ouvert une procédure administrative de renvoi pour justes motifs, laquelle a abouti, le 8 septembre 2017, au prononcé du licenciement de l'intéressé, avec effet immédiat. Il était reproché à A._ de ne pas s'être récusé dans plusieurs dossiers pouvant le placer dans un conflit d'intérêts, en particulier d'avoir continué à traiter de dossiers impliquant C._ (le père de D._, son ancien locataire et ami) alors que les deux se trouvaient en relations précontractuelles au sujet de la location par le premier de terres agricoles appartenant au second.
B.
A._ a formé un recours contre son licenciement, dans lequel il concluait à l'annulation de la décision de renvoi du 8 septembre 2017, à sa réintégration dans son poste de secrétaire suppléant et, subsidiairement, à l'octroi d'une indemnité correspondant à un an de traitement ou au renvoi de la cause à la DIAF pour nouvelle décision.
En cours de procédure, la Caisse publique de chômage du canton de Fribourg a déposé une déclaration d'intervention, dans laquelle elle demandait la constatation et le versement de prétentions subrogatoires à hauteur de 4'675 fr. 20.
Par arrêt du 26 juin 2018, la I e Cour administrative du Tribunal cantonal du canton de Fribourg a partiellement admis le recours, dans le sens des considérants. Elle a constaté le caractère injustifié du licenciement et a astreint l'Etat de Fribourg à verser à l'intéressé une indemnité équivalant à quatre mois de son dernier salaire, sous déduction des prétentions subrogatoires de la caisse de chômage.
C.
A._ interjette un recours en matière de droit public contre cet arrêt dont il demande la modification dans le sens des conclusions prises devant la juridiction précédente.
La DIAF conclut au rejet du recours, tandis que la cour cantonale a renoncé à se déterminer. Le recourant a répliqué.

Considérant en droit :
1.
Le jugement entrepris a été rendu dans une cause en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation porte sur la résiliation des rapports de service, il s'agit d'une contestation de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise par un tribunal cantonal, le recours respecte les exigences des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 et 106 al. 2 LTF. Il convient, en conséquence, d'entrer en matière.
2.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1 p. 503) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). Il n'entre pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.3 p. 266).
2.2. D'autre part, le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 3.2 p. 579). En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat. Si l'interprétation défendue par l'autorité précédente ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (<ref-ruling> consid. 4.3 p. 380 et les arrêts cités).
3.
Aux termes de l'art. 41 ("Conséquences d'un licenciement injustifié") de la loi [du canton de Fribourg] du 17 octobre 2001 sur le personnel de l'Etat (LPers; RSF 122.70.1), applicable par renvoi de l'art. 45 al. 4 LPers, lorsque les motifs de licenciement se révèlent injustifiés, le collaborateur ou la collaboratrice est maintenu-e dans sa fonction. Toutefois, s'il y a eu cessation de fait des rapports de service et qu'une réintégration du collaborateur ou de la collaboratrice ne soit plus possible, celui-ci ou celle-ci a droit à une indemnité dont le montant maximal est égal à une année de traitement.
4.
4.1. La cour cantonale fonde le caractère vicié du licenciement sur une violation du principe de la célérité. Examinant les conséquences de ce vice en application de l'art. 41 LPers, elle a considéré que seule une indemnisation entrait en ligne de compte. En effet, une réintégration du recourant dans son ancien poste n'était pas possible. M e B._, qui avait instruit l'enquête administrative visant l'AFC et préconisé l'ouverture d'une procédure à l'encontre du recourant, avait été nommé président de l'AFC. Il paraissait ainsi pour le moins difficile qu'une relation de confiance puisse s'établir entre les deux hommes. L'enquêteur avait en outre exposé qu'il existait un problème d'incompatibilité entre le travail du recourant en tant qu'agriculteur et son activité de membre du secrétariat de l'AFC. A cela s'ajoutait qu'il y avait eu cessation de fait des rapports de travail depuis environ dix mois. Enfin, l'occasion avait été donnée au recourant d'être transféré et de conserver un poste à l'Etat, mais il avait décliné l'offre, au motif qu'il n'était pas en mesure de prendre une décision sur son avenir professionnel pour des raisons de santé.
4.2. En ce qui concerne ensuite le montant de l'indemnité, les juges cantonaux ont relevé, en résumé, que les violations éventuelles de l'obligation de récusation n'étaient pas exclusivement imputables au recourant. Cependant, son expérience professionnelle et ses connaissances pratiques en matière d'agriculture auraient dû l'inciter à plus de vigilance dans l'approche de certains dossiers. Même si la négligence dont il avait fait preuve s'expliquait également par une pratique imprécise au sein de l'AFC sur les questions de récusation, sa naïveté et son manque de transparence vis-à-vis de ses collègues devaient lui être reprochés. En particulier, dès l'instant où le lien de filiation entre son futur bailleur C._ et D._ lui était connu et où les pourparlers au sujet du domaine concerné étaient imminents, le recourant aurait dû se récuser de manière claire et non équivoque. Différentes interventions fautives devaient pourtant lui être imputées. De l'avis des premiers juges, il se justifiait alors, compte tenu de ces circonstances, de l'ancienneté du recourant et de sa part de responsabilité, de limiter l'indemnité à quatre mois de salaire.
5.
5.1. Le recourant invoque une constatation manifestement inexacte des faits, en reprochant à la juridiction cantonale d'avoir omis de prendre en compte des éléments, selon lui, importants pour examiner la possibilité d'une réintégration et évaluer la faute de l'employeur. Ainsi, les premiers juges n'auraient pas tenu compte de son exclusion avant l'issue de la procédure de renvoi. A ce propos, il fait valoir qu'au moment de la nomination des nouveaux membres de l'AFC, le 23 mai 2017, il ne figurait déjà plus en qualité de secrétaire (suppléant) de l'AFC. Les juges cantonaux n'auraient pas non plus pris en considération l'engagement de la personne en charge de l'enquête administrative comme nouveau président de l'AFC ni le fait que son licenciement est intervenu postérieurement à cette nomination.
5.2. On peine à saisir en quoi ces éléments seraient susceptibles d'influer sur le sort de la cause. L'argumentation développée sur ces différents points s'apparente bien plus à une critique de la procédure et de la décision de renvoi - sur lesquelles il n'y a plus lieu de revenir - qu'à une démonstration du caractère arbitraire du choix et du montant de l'indemnisation. En tout état de cause, les allégations du recourant, selon lesquelles l'intimée aurait anticipé son départ et mis M e B._ à la tête de l'AFC dans le but précis d'empêcher sa réintégration ultérieure, ne sont pas étayées et tendent plutôt à conforter le point de vue des premiers juges sur les difficultés que soulèverait une réintégration. On notera par ailleurs que la présente procédure n'a pas pour objet d'examiner le bien-fondé de la nomination du nouveau président de l'AFC.
6.
6.1. Se plaignant d'une application arbitraire de la LPers, en particulier de son art. 41, le recourant reproche aux premiers juges d'avoir écarté la possibilité d'une réintégration. Il fait notamment valoir qu'il a travaillé à temps partiel pour le compte de l'AFC pendant plus de dix ans, qu'il appréciait énormément son activité et qu'en tant que secrétaire, il n'était pas membre à proprement parler de cette autorité. Se référant à la cause ayant fait l'objet de l'arrêt 8C_670/2017 du 19 juillet 2018, il soutient également qu'il était arbitraire de justifier le refus par la cessation des rapports de travail depuis environ dix mois. Enfin, il est d'avis que le refus du poste qui lui avait été proposé ne devrait pas faire obstacle à sa réintégration ou à un reclassement dans une fonction touchant à l'agriculture.
6.2. Il ressort de la législation fribourgeoise en matière de personnel de l'Etat (supra consid. 3) ainsi que de la jurisprudence y relative (cf. l'arrêt 8C_670/2017 [cité par le recourant] consid. 8.3.1), qu'en cas de licenciement injustifié, la réintégration constitue la règle et l'indemnisation l'exception. Conformément à la teneur de l'art. 41 LPers, une indemnisation entre en considération lorsqu'il y a cessation de fait des rapports de service et qu'une réintégration n'est plus possible. Cela étant, on ne saurait reprocher aux premiers juges d'avoir tenu compte de l'absence au poste depuis plus de dix mois, dès lors que la loi fait de la cessation des rapports de service un des critères pour privilégier l'indemnisation. En outre, le cas du recourant n'est pas comparable aux circonstances ayant donné lieu à l'arrêt 8C_670/2017. En effet, dans cette affaire, malgré une absence au poste d'un peu plus d'une année, la réintégration de l'employée demeurait possible en raison des caractéristiques structurelles de l'employeur, soit un établissement hospitalier cantonal occupant plusieurs milliers de collaborateurs et cherchant régulièrement à engager du personnel soignant pour des postes semblables à celui de la collaboratrice concernée. En l'espèce, l'AFC ne compte qu'un nombre très limité d'employés et l'existence de postes vacants "touchant à l'agriculture" n'est pas établie. Dans ces conditions, il n'apparaît pas arbitraire de tenir compte du refus du recourant d'être transféré dans un autre service et des difficultés relationnelles qui l'opposeraient au président de l'AFC pour écarter la possibilité d'une réintégration. Le nombre d'années exercées au sein de l'AFC et l'intérêt du recourant pour son ancienne activité n'y changent rien. Enfin, en ce qui concerne les critiques formulées à nouveau par le recourant à propos de son exclusion anticipée et de la nomination du nouveau président de l'AFC, on peut renvoyer à ce qui a été dit plus haut (supra consid. 5.2).
7.
7.1. Toujours sous l'angle de l'application arbitraire de l'art. 41 LPers, le recourant s'en prend ensuite à l'indemnité allouée. Il conteste d'une part la déduction opérée en faveur de la caisse de chômage, faisant valoir que l'indemnité a un caractère punitif et réparateur et qu'elle ne constitue pas un élément de salaire. D'autre part, il reproche à la cour cantonale d'avoir fixé le montant de l'indemnité sur la base de considérations insoutenables et sans tenir compte de la gravité de la faute de l'employeur, de la manière dont s'est déroulé le licenciement ou encore des atteintes subies par lui. Il soutient en particulier que les premiers juges ne lui ont pas imputé la violation des règles sur la récusation, que ce type de manquement doit être sanctionné par l'annulation de la décision prise en position de conflit d'intérêts et non par la réduction de l'indemnité, et que, compte tenu d'un délai de congé de trois mois, le montant de l'indemnité revient au final à un seul mois de traitement.
7.2. Le grief est mal fondé. Premièrement, l'art. 41 LPers ne traite pas de la subrogation de l'assurance-chômage dans les droits découlant des rapports de travail des assurés. Cette question fait l'objet de l'<ref-law> (RS 837.0), qui n'est toutefois pas discuté par le recourant. En l'absence de grief, il n'y a pas lieu d'examiner le bien-fondé de la déduction sous l'angle de la LACI (<ref-law>). En ce qui concerne ensuite la quotité de l'indemnisation, l'art. 41 LPers fixe un seuil maximal d'une année de traitement. Cela ne signifie pas qu'il faille partir de ce montant-là pour fixer l'indemnité, comme semble le soutenir le recourant qui reproche aux premiers juges d'avoir réduit l'indemnité. En outre, selon les constatations du jugement attaqué, le comportement du recourant n'a pas été irréprochable. Cela étant, une indemnité dont la quotité se situe un peu plus bas que le milieu de la fourchette prévue par la disposition cantonale n'apparaît pas en soi arbitraire. En particulier, il n'est pas contradictoire de la part des premiers juges de retenir que, malgré l'absence de violation formelle du devoir de récusation, le recourant avait adopté une attitude qui manquait de transparence vis-à-vis de ses collègues et qu'il était intervenu de manière fautive dans certains dossiers pour lesquels il s'était pourtant récusé. Par ailleurs, en tant que le recourant se prévaut de la violation du principe d'immédiateté et des erreurs d'appréciation de l'intimée, il ne fait que rappeler des éléments déjà pris en compte par les premiers juges pour fixer le montant de l'indemnité (cf. consid. 5 du jugement attaqué). Soutenir que ces éléments doivent conduire à une indemnité de douze mois de traitement plutôt que de quatre mois ne suffit pas pour admettre une application arbitraire du droit cantonal. Une telle solution reviendrait d'ailleurs à allouer l'indemnité maximale à un employé auquel on reconnaît pourtant une part de responsabilité dans les faits qui ont conduit à son licenciement. En outre, contrairement à ce que soutient le recourant, les premiers juges n'ont pas retenu qu'il exerçait son activité à 50 % auprès de l'intimée depuis 2013 seulement. Ils se sont uniquement référés à l'augmentation, en 2013, de son taux d'activité à l'AFC pour pondérer son ancienneté. Quant aux critiques sur le déroulement de l'enquête administrative qui a visé l'AFC et la nomination du nouveau président, elles s'inscrivent dans une discussion de nature appellatoire qui s'écarte, en tout cas en partie, de l'objet du litige. Enfin, bien qu'il le prétende, le recourant ne démontre pas en quoi le droit cantonal imposerait de tenir compte du salaire afférent au délai de congé lors de la fixation de l'indemnité pour licenciement injustifié. Dans tous les cas, le montant de l'indemnité allouée est supérieur au délai de congé allégué. En conclusion, la mesure de l'indemnité litigieuse n'apparaît pas avoir été fixée de manière manifestement insoutenable.
8.
8.1. Se plaignant enfin d'arbitraire dans l'application de l'art. 131 du code [du canton de Fribourg] du 23 mai 1991 de procédure et de juridiction administrative (CPJA; RSF 150.1), le recourant s'en prend à la répartition des frais. Il soutient qu'il a obtenu entièrement gain de cause puisque le licenciement a été considéré comme injustifié et que les conséquences à y attacher ne sont que secondaires. Il reproche aussi à la cour cantonale d'avoir fait preuve d'arbitraire pour avoir rabattu ses dépens en raison du manque de complexité particulière de l'affaire.
8.2. Vu l'objet de son présent recours, le recourant n'a de toute évidence pas obtenu intégralement gain de cause en instance cantonale, où il concluait à titre principal à sa réintégration. Quant aux dépens, ils ont été fixés sur la base de l'art. 127 CPJA et du tarif cantonal du 17 décembre 1991 des frais de procédure et des indemnités en matière de juridiction administrative (Tarif JA; RSF 150.1). Cela étant, le grief d'application arbitraire de l'art. 131 CPJA est dépourvu de tout fondement.
9.
Il s'ensuit que le recours est en tous points mal fondé et doit être rejeté.
Succombant, le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la I e Cour administrative du Tribunal cantonal de l'Etat de Fribourg et à la Caisse publique de chômage du canton de Fribourg.
Lucerne, le 6 juin 2019
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Castella