Faits :
A.
En mai 2010, un cadre de A._ aurait sollicité d'un tiers, peu avant la passation d'un contrat entre l'entreprise de celui-ci et A._, un avantage indu, soit le versement de 100'000 francs. Un autre tiers (ci-après le témoin) a assisté à cette scène.
X._, directeur général de A._ jusqu'au 12 septembre 2013, avait été informé d'un comportement potentiellement répréhensible du cadre précité et avait constitué un dossier confidentiel à l'automne 2010. Selon une note du 18 octobre 2010, il s'était entretenu avec le tiers précité et lui avait demandé une confirmation écrite, laquelle avait été établie le 3 décembre 2010. Selon une note du 20 octobre 2010, le témoin présent lors de la sollicitation craignait une plainte en diffamation et estimait que sa position de mandataire du tiers précité amenuiserait la portée de sa corroboration. X._ avait demandé au directeur chargé du domaine " Droit et risques " à A._, Y._, de prendre conseil auprès d'un avocat. Il n'avait pas lu les avis de droit demandés, mais en avait discuté avec Y._. Dans une note du 12 janvier 2011, X._ aurait mentionné une " obligation de dénoncer ". Début 2011, il a augmenté le salaire du cadre précité et lui a octroyé un salaire rétroactif. Ce cadre a ensuite été détaché auprès d'une structure partenaire jusqu'à création d'une nouvelle entité qui l'a engagé formellement dès le 1er janvier 2012.
Le 5 mai 2014, la Cour des comptes de la République et canton de Genève a dénoncé au Ministère public de la République et canton de Genève les soupçons de corruption passive (art. 322quater CP) qui lui étaient apparus lors d'un audit conduit au sein de A._. Le 5 juin 2014, A._ a déposé plainte pénale contre le cadre soupçonné de corruption, relevant qu'il ne s'expliquait pas le silence de X._.
B.
Le 9 juillet 2014, le ministère public a prévenu X._ d'entrave à l'action pénale (art. 305 CP) pour s'être abstenu, en sa qualité de directeur général de A._, de dénoncer, entre 2010 et 2014, le comportement suspect de corruption du cadre précité, contrairement à ce que lui imposait l'art. 33 de la loi genevoise d'application du code pénal suisse et d'autres lois fédérales en matière pénale, entrée en vigueur le 1er janvier 2011 (LaCP/GE; RS/GE E 4 10). En vertu de cette dispo sition, toute autorité, tout membre d'une autorité, tout fonctionnaire au sens de l'article 110 al. 3 CP et tout officier public acquérant, dans l'exercice de ses fonctions, connaissance d'un crime ou d'un délit poursuivi d'office est tenu d'en aviser sur-le-champ la police ou le ministère public (art. 302 al. 2 CPP). Le ministère public a estimé que l'ouverture d'une procédure pénale contre le cadre en avait été retardée. Dans la mesure où ce cadre avait été promu, l'extension de l'instruction à la gestion déloyale des intérêts publics (art. 314 CP) était réservée.
C.
Par ordonnance de classement partiel du 31 juillet 2015, le ministère public a classé la procédure pénale à l'égard de X._, a refusé de lui allouer une indemnité ou un montant à titre de réparation du tort moral et l'a condamné, conjointement et solidairement avec Y._, aux frais de la procédure par 2'500 francs.
La procédure pénale suivait sa voie pour le surplus, soit notamment en ce qui concerne l'accusation de corruption passive portée contre le cadre précité.
D.
Par arrêt du 14 octobre 2015, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a rejeté le recours formé contre cette ordonnance par X._.
E.
Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation et à l'annulation de l'ordonnance du 31 juillet 2015 en tant qu'elle lui refuse une indemnité pour ses frais de défense et le condamne aux frais de la procédure. Il sollicite qu'il lui soit octroyé, à charge de l'Etat de Genève, une indemnité pour ses frais de défense durant la procédure d'instruction par 24'958 fr. 10 à laquelle s'ajouteront les frais de photocopies payés à l'Etat de Genève par 309 fr. et une indemnité pour ses frais de défense dans le cadre de la procédure de recours par 1000 francs. Subsidiairement, il requiert l'annulation de l'arrêt du 14 octobre 2015 et de l'ordonnance du 31 juillet 2015, en tant qu'elle lui refuse une indemnité pour ses frais de défense et le condamne aux frais de la procédure, et le renvoi de la cause à l'autorité précédente pour nouvelle décision.
Invités à se déterminer sur le recours, l'autorité précédente s'est référée à son arrêt sans formuler d'observations, le ministère public a conclu au rejet du recours.

Considérant en droit :
1.
Le recourant se plaint que les frais de la cause aient été mis à sa charge et qu'une indemnité de défense lui ait été refusée. Il invoque également que l'autorité précédente aurait constaté de manière arbitraire qu'il était conscient qu'une dénonciation pénale du comportement du cadre était obligatoire.
1.1. En vertu de l'art. 423 al. 1 CPP, les frais de procédure sont mis à la charge de la Confédération ou du canton qui a conduit la procédure; les dispositions contraires du présent code sont réservées. Selon l'art. 426 al. 2 CPP, lorsque la procédure fait l'objet d'une ordonnance de classement ou que le prévenu est acquitté, tout ou partie des frais de procédure peuvent être mis à sa charge s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile sa conduite.
La condamnation d'un prévenu acquitté à supporter tout ou partie des frais doit respecter la présomption d'innocence, consacrée par les art. 32 al. 1 Cst. et 6 par. 2 CEDH. Celle-ci interdit de rendre une décision défavorable au prévenu libéré en laissant entendre que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées. Une condamnation aux frais n'est ainsi admissible que si le prévenu a provoqué l'ouverture de la procédure pénale dirigée contre lui ou s'il en a entravé le cours. A cet égard, seul un comportement fautif et contraire à une règle juridique, qui soit en relation de causalité avec les frais imputés, entre en ligne de compte (<ref-ruling> consid. 1b p. 334; <ref-ruling> consid. 2c p. 168; plus récemment arrêt 6B_203/2015 du 16 mars 2016 consid. 1.1).
Pour déterminer si le comportement en cause est propre à justifier l'imputation des frais, le juge peut prendre en considération toute norme de comportement écrite ou non écrite résultant de l'ordre juridique suisse pris dans son ensemble, dans le sens d'une application par analogie des principes découlant de l'art. 41 CO. Le fait reproché doit constituer une violation claire de la norme de comportement (ATF 119 la 332 consid. 1b p. 334; plus récemment arrêt 6B_203/2015 du 16 mars 2016 consid. 1.1).
Une condamnation aux frais ne peut se justifier que si, en raison du comportement illicite du prévenu, l'autorité était légitimement en droit d'ouvrir une enquête. Elle est en tout cas exclue lorsque l'autorité est intervenue par excès de zèle, ensuite d'une mauvaise analyse de la situation ou par précipitation (ATF <ref-ruling> consid. 2c p. 170 s.; arrêt 6B_203/2015 du 16 mars 2016 consid. 1.1; également cf. art. 426 al. 3 let. a CPP). La mise des frais à la charge du prévenu en cas d'acquittement ou de classement de la procédure doit en effet rester l'exception (ATF <ref-ruling> consid. 2c p. 171).
1.2. Aux termes de l'art. 429 al. 1 let. a CPP, si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. En vertu de l'art. 430 al. 1 let. a CPP, seule lettre dont l'application pourrait entrer ici en considération, l'autorité pénale peut réduire ou refuser l'indemnité ou la réparation du tort moral lorsque le prévenu a provoqué illicitement et fautivement l'ouverture de la procédure ou a rendu plus difficile la conduite de celle-ci.
Il n'y a pas lieu d'envisager une indemnisation du prévenu en cas de condamnation aux frais, l'obligation de supporter les frais et l'allocation d'une indemnité s'excluant réciproquement (<ref-ruling> consid. 2.4.2 p. 357). La question de l'indemnisation doit être tranchée après la question des frais.
1.3. Aux termes de l'art. 305 al. 1 CP, se rend coupable d'entrave à l'action pénale celui qui aura soustrait une personne à une poursuite pénale ou à l'exécution d'une peine ou d'une des mesures prévues aux art. 59 à 61, 63 et 64 CP.
La soustraction présuppose que l'auteur a empêché une action de l'autorité dans le cours d'une procédure pénale au moins durant un certain temps (<ref-ruling> consid. 4.2 p. 463; <ref-ruling> consid. 2.1 p. 140). Au nombre des actes qui entrent en ligne de compte s'agissant d'une entrave à l'action pénale, on trouve entre autres la dissimulation de moyens de preuve afin de retarder l'élucidation de l'affaire en faveur de la personne poursuivie. Dans tous les cas, il faut démontrer que le fugitif, le prévenu ou l'auteur a été soustrait durant un certain temps à l'action de la police du fait du prétendu fauteur (ATF <ref-ruling> consid. 2.1 p. 140). La soustraction peut aussi être commise par une abstention, à la condition que l'auteur ait une obligation juridique d'agir en raison d'une position de garant. N'importe quelle obligation ne suffit pas, la personne en cause devant avoir un devoir de protection ou de surveillance (<ref-ruling> consid. 4.2 p. 463; <ref-ruling> consid. 2 p. 72). Selon la jurisprudence, un tel devoir incombe notamment à celui qui, en raison de sa situation juridique, est tenu de protéger un bien donné des dangers qui le menacent. Une obligation légale ne fonde ainsi pas forcément un devoir de garant. Ce qui est déterminant est la nature du lien, à l'origine de la norme, existant entre la personne qui est ainsi tenue et le bien menacé ou la source de danger (<ref-ruling> consid. 2b p. 32; <ref-ruling> consid. 2 p. 72). Occupe une position de garant celui qui a une obligation particulière de collaborer à l'administration de la justice pénale, notamment en raison de sa fonction (cf. art. 302 al. 1 CPP), comme par exemple un garde-chasse ou un policier (<ref-ruling> consid. 4.2 p. 463 et les références citées).
1.4. Le recourant a été prévenu uniquement d'entrave à l'action pénale. Seul un comportement fautif et contraire à une règle juridique, de nature à justifier l'ouverture d'une procédure pénale pour cette accusation pouvait donc justifier que les frais relatifs à la procédure pénale soient mis à la charge du recourant. Des frais ne sauraient ainsi être mis à sa charge au motif que son comportement aurait pu inciter l'autorité de poursuite à ouvrir une procédure pour d'autres accusations, notamment la gestion déloyale des intérêts publics (art. 314 CP) seulement réservée par le ministère public le 9 juillet 2014.
S'agissant de la prévention d'entrave à l'action pénale, le comportement que le ministère public reprochait au recourant d'avoir adopté et qui aurait selon lui provoqué l'ouverture de la procédure pénale n'est pas une action, mais une omission, à savoir celle de dénoncer des soupçons de corruption relatifs au cadre solliciteur (cf. supra let. B; déterminations du ministère public, p. 4). L'autorité précédente ne saurait dès lors justifier a posteriori l'ouverture de la procédure pénale par le fait que celle-ci aurait théoriquement également pu être ouverte du fait d' actes matériels d'entrave, actes en l'occurrence ni évoqués par le ministère public au moment de la mise en prévention, ni constatés dans l'arrêt entrepris.
Quant à la question de savoir si le recourant, en ne dénonçant pas malgré les informations en sa possession le cadre solliciteur, a adopté un comportement fautif et contraire à une règle juridique d'une part, de nature à justifier l'ouverture d'une procédure pénale d'autre part, elle ne peut être tranchée par l'affirmative que si le recourant avait effectivement l'obligation légale de dénoncer ce cadre et s'il occupait à cet égard une position de garant. La réunion de ces deux conditions devait être examinée d'entrée de cause par le ministère public, sur la base du droit applicable au moment des faits et des fonctions du recourant, puisqu'en l'absence de l'une ou l'autre de ces conditions aucune poursuite pour entrave par omission ne se justifiait. En l'état, l'arrêt attaqué ne tranche clairement aucune de ces questions. Après avoir mentionné l'art. 33 LaCP/GE, entré en vigueur après que la sollicitation litigieuse a eu lieu, l'autorité précédente n'a pas indiqué si cette disposition était applicable au recourant, puis jugé que celui-ci avait l'obligation de dénoncer, sans mentionner la base légale prescrivant cette obligation, puis retenu une " violation impunissable de l'art. 33 LaCP ". Quant à la question de savoir si le recourant occupait une position de garant, l'autorité précédente l'a expressément laissée ouverte, la jugeant sans pertinence. Dans ces circonstances, on ne saurait retenir que le recourant aurait adopté un comportement contraire à une règle juridique d'une part, de nature à justifier l'ouverture d'une procédure pénale d'autre part, de sorte que les frais y afférant puissent être mis à sa charge et une indemnité lui être refusée.
2.
Il résulte de ce qui précède que le recours doit être admis, sans que les autres griefs soulevés par le recourant n'aient à être examinés. L'arrêt attaqué sera annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision. Dans ce cadre, elle devra à titre préalable trancher la question de savoir si le recourant avait une obligation de dénoncer le cadre solliciteur, en indiquant le cas échéant la base légale, et s'il occupait une position de garant.
Il ne sera pas perçu de frais (art. 66 al. 4 LTF). Le recourant qui obtient gain de cause a droit à des dépens (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais.
3.
L'Etat de Genève versera au recourant la somme de 3000 fr. à titre de dépens pour la procédure fédérale.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 23 novembre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod