Faits : A. A._ travaillait en qualité de menuisier indépendant et était, à ce titre, assuré contre le risque d'accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 26 novembre 2013, l'assuré a informé la CNA que le 27 septembre précédent, il avait "retenu une porte (95 kg) qui glissait" et que le lendemain, il "creusait avec une barre à mine et le poignet a commencé à lui faire très mal (inflammation) ". Consulté le 2 octobre 2013, le docteur B._ a posé le diagnostic d'arthrose activée du poignet droit par travail de force, chez un travailleur manuel indépendant. Lors d'un entretien avec un inspecteur de la CNA le 18 décembre 2013, A._ a précisé que le 27 septembre 2013, en voulant retenir une porte en train de tomber de côté, il avait fait un mouvement brusque et rapide pour la rattraper et avait ressenti immédiatement une douleur dans son poignet droit. Il avait fini la journée avec ses douleurs et avait pu reprendre le travail le lendemain. Le 28 septembre 2013, il devait poser un portail en bois et creuser à cet effet un trou dans le sol à 60 cm de profondeur. Utilisant une barre à mine d'environ 20 à 30 kg, il avait fortement tapé avec la barre dans un morceau de béton qui se trouvait dissimulé dans le sol. Il avait immédiatement ressenti une douleur importante dans le poignet droit. Par décision du 27 décembre 2013, confirmée sur opposition le 29 janvier 2014, la CNA a refusé d'allouer des prestations d'assurance pour les suites des événements des 27 et 28 septembre 2013, au motif qu'il ne s'agissait ni d'un accident ni d'une lésion assimilée à un accident. B. Saisie d'un recours de l'assuré, la I e Cour des assurances sociales du Tribunal cantonal du canton de Fribourg l'a rejeté par jugement du 3 août 2016. C. A._ forme un recours en matière de droit public contre ce jugement. Il conclut principalement à son annulation et au renvoi de l'affaire à la juridiction cantonale. Subsidiairement, il demande le renvoi à l'administration pour complément d'instruction et nouvelle décision. Il requiert en outre le bénéfice de l'assistance judiciaire gratuite. La CNA conclut au rejet du recours tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.