Faits :
A.
A.a. Les époux A._ se sont mariés le 12 juin 2010. Ils sont les parents de C._, né en 2013.
A.b. Des mesures protectrices de l'union conjugale ont été prononcées le 9 mai 2014. Par convention du 15 mai 2015, destinée à régler partiellement les effets accessoires de leur futur divorce, les parties se sont notamment accordées sur le maintien en commun de l'autorité parentale, mais n'ont pu trouver de solution commune concernant la garde de l'enfant, respectivement le droit de visite du parent non gardien, de même qu'à propos des contributions d'entretien.
B.
Le 26 juin 2015, l'épouse a déposé une requête de divorce avec accord partiel devant le Tribunal civil de l'arrondissement de la Sarine (ci-après : le Tribunal). Le 7 mars 2016, le Tribunal a prononcé le divorce et, notamment, attribué la garde de l'enfant à B.A._ et fixé le droit de visite de A.A._ en précisant qu'il s'exercera d'entente entre parties, à défaut : du mardi soir à 17h30 au mercredi à 19h30, une semaine sur deux et lorsque le droit de visite n'a pas lieu le week-end qui suit; un week-end sur deux du vendredi 17h30 au dimanche 19h30; pour les vacances, à raison de quatre semaines dont au moins deux durant les vacances d'été.
Le 3 mai 2016, l'époux a interjeté appel contre cette décision, concluant notamment, à titre subsidiaire, à l'octroi d'un droit de visite, à défaut d'entente entre les parents : toutes les semaines du mardi 17h30 au mercredi 19h30; une nuit et un jour par week-end, alternativement du vendredi 17h30 au samedi 19h30 et du samedi 17h30 au dimanche 19h30; les vacances scolaires, partagées à parts égales entre les parents.
Par arrêt du 24 novembre 2016, la Ie Cour d'appel civil du Tribunal cantonal de l'état de Fribourg a rejeté l'appel et entièrement confirmé la décision du Tribunal.
C.
Par acte du 10 janvier 2017, A.A._ exerce un recours en matière civile, assorti d'une requête d'effet suspensif, au Tribunal fédéral, concluant à la modification de l'arrêt attaqué en ce sens que le droit de visite sur l'enfant s'exercera comme suit : du mardi soir à 17h30 au mercredi à 19h30, chaque semaine; un week-end sur deux du vendredi à 17h30 au dimanche à 19h30; les vacances scolaires et les jours fériés seront répartis à parts égales entre les parents.
Invitées à se déterminer sur la requête d'effet suspensif, l'intimée a conclu à son rejet et l'autorité précédente a déclaré ne pas avoir d'observations à formuler.
D.
Par ordonnance du 26 janvier 2017, le Président de la IIe Cour de droit civil du Tribunal fédéral a admis la requête d'effet suspensif.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>), prise par un tribunal cantonal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF), dans une affaire matrimoniale (<ref-law>). Le litige soumis au Tribunal fédéral porte sur la fixation du droit de visite, de sorte qu'il est de nature non pécuniaire (arrêt 5A_303/2016 du 10 octobre 2016 consid. 1). Déposé en temps utile (art. 46 al. 1 let. c et 100 al. 1 LTF) et en la forme prévue par la loi (<ref-law>), par une partie qui a pris part à la procédure devant l'autorité précédente (<ref-law>) et a un intérêt digne de protection à l'annulation ou à la modification de la décision attaquée (<ref-law>), le recours en matière civile est en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques qui pourraient se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2; <ref-ruling> consid. 1.4). En outre, le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si de tels griefs ont été invoqués et motivés par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 3.3), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 1.3 et les références).
2.2. Le Tribunal fédéral statue sur la base des faits constatés dans la décision attaquée (<ref-law>). Il peut rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte, c'est-à-dire arbitraire aux termes de l'art. 9 Cst. (<ref-ruling> consid. 2.3), ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Une partie ne peut toutefois pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; elle doit indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2). Une critique de fait qui ne satisfait pas au principe d'allégation susmentionné (cf. supra consid 2.1) est irrecevable (<ref-ruling> consid. 2.3 et les références; <ref-ruling> consid. 1.4.3).
Dans un recours au Tribunal fédéral, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>). L'exclusion des faits et moyens de preuve nouveaux est la règle. Cette règle connaît une exception lorsque c'est la décision de l'autorité précédente qui, pour la première fois, a rendu pertinents ces faits ou moyens de preuve; il peut s'agir, notamment, de faits et moyens de preuve qui se rapportent à la procédure conduite devant l'autorité précédente, ou encore des faits postérieurs à l'arrêt attaqué permettant d'établir la recevabilité du recours. En dehors de ces cas, le Tribunal fédéral ne peut pas tenir compte de faits ou moyens de preuve survenus postérieurement au prononcé de la décision entreprise, c'est-à-dire de véritables nova (<ref-ruling> consid. 2.1 et les arrêts cités); il en va de même d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 3.1.2; arrêt 5A_829/2016 du 15 février 2017 consid. 2.2.1).
3.
Le recourant soulève le grief de violation des art. 273 et 274a CC.
3.1.
3.1.1. Aux termes de l'<ref-law> (auquel renvoie l'<ref-law>), le père ou la mère qui ne détient pas l'autorité parentale ou la garde ainsi que l'enfant mineur ont réciproquement le droit d'entretenir les relations personnelles indiquées par les circonstances. Autrefois considéré comme un droit naturel des parents, le droit aux relations personnelles est désormais conçu à la fois comme un droit et un devoir de ceux-ci (cf. <ref-law>), mais aussi comme un droit de la personnalité de l'enfant; il doit servir en premier lieu l'intérêt de celui-ci (<ref-ruling> consid. 2.1 p. 587 s.; <ref-ruling> consid. 4a p. 298; <ref-ruling> consid. 3b p. 451; arrêt 5A_422/2015 du 10 février 2016 consid. 4.2 non publié aux <ref-ruling>).
3.1.2. Selon l'<ref-law>, dans des circonstances exceptionnelles, le droit d'entretenir des relations personnelles peut aussi être accordé à d'autres personnes, en particulier à des membres de la parenté, à condition que ce soit dans l'intérêt de l'enfant. Cet article vise notamment le droit que pourraient revendiquer les grands-parents. Il peut trouver application lorsque l'un des parents est décédé, afin de permettre aux grands-parents d'entretenir des relations personnelles avec leurs petits-enfants, ou lorsque le parent fait obstacle à celles-ci. En revanche, les grands-parents n'ont en principe pas un droit propre à entretenir des relations personnelles avec leurs petits-enfants, en dehors du droit aménagé par le divorce en faveur de leur enfant (arrêts 5A_357/2010 du 10 juin 2010 consid. 5.2; 5A_831/2008 du février 2009 consid. 3.2).
3.1.3. L'appréciation des circonstances de fait pour fixer le droit aux relations personnelles, c'est-à-dire la détermination de leur portée juridique, est une question de droit. Le Tribunal fédéral s'impose toutefois une certaine retenue. Le juge du fait qui, par son expérience en la matière, connaît mieux les parties et le milieu dans lequel l'enfant évolue, dispose d'un large pouvoir d'appréciation en vertu de l'<ref-law>. Le Tribunal fédéral n'intervient que si le juge, sans aucun motif, a écarté des critères essentiels pour la décision sur le droit de visite de l'enfant ou, à l'inverse, s'est fondé sur des éléments dépourvus d'importance au regard du bien de l'enfant ou contrevenant aux principes du droit fédéral (<ref-ruling> consid. 4a p. 235).
3.2. La cour cantonale a d'abord fait sienne la décision du Tribunal de renoncer à une garde alternée - question qui n'est plus litigieuse - en raison de l'éloignement géographique des parents (trajets de 40 km, avec un temps de trajet augmenté aux heures de pointe), de leur faible capacité à communiquer entre eux à propos de leur enfant et du fait que celui-ci sera prochainement scolarisé, précisant qu'il importait d'éviter des changements incessants, lesquels ne promeuvent pas la stabilité de l'enfant. Elle s'est ensuite prononcée sur la conclusion subsidiaire du recourant en relation avec le droit de visite, seule question encore discutée devant la Cour de céans. L'autorité précédente a alors à nouveau entériné la solution retenue par le Tribunal. Elle a exposé que, du point de vue du premier juge, rien ne s'opposait à un droit de visite usuel, pour les motifs qui l'avaient conduit à attribuer la garde sur l'enfant à l'intimée, ajoutant qu'un tel droit pouvait également être plus large, au vu des relations de l'enfant avec son père et son demi-frère, raison pour laquelle il convenait de prononcer un droit de visite d'entente entre les parties, mais à défaut d'entente, plus large que le droit de visite usuel. En l'occurrence, il s'imposait d'abord de prévoir un droit usuel exercé un week-end sur deux, du vendredi soir au dimanche soir, soit de nature à favoriser la relation de l'enfant à son parent non gardien, qui pourra plus facilement se construire et s'entretenir sur deux jours d'affilée que sur un seul jour, cet agencement permettant aussi d'intégrer pleinement l'enfant dans le quotidien de ce parent sur un temps privilégié, en principe consacré aux loisirs. A en sus été prescrit, un droit de visite élargi, à exercer du mardi soir au mercredi soir pour la première semaine, en alternance avec le week-end prévu sur la deuxième, cette solution permettant de garder le jour de semaine passé chez le père tout en l'adaptant à un mercredi sur deux afin de limiter les trajets et la fatigue en découlant, ceci dans une perspective de stabilité de l'enfant. Ce faisant, l'autorité cantonale a écarté la proposition du recourant de fractionner tous les week-ends, solution qui ne servait ni l'intérêt de l'enfant, ni celui des parents, aucun d'eux ne pouvant partager un week-end complet avec l'enfant. Enfin et s'agissant des vacances, la cour cantonale a confirmé la solution du Tribunal, soit l'octroi de quatre semaines qui correspondent aux 20 jours de vacances du recourant, au cours desquelles il peut s'occuper personnellement de l'enfant.
3.3. A titre liminaire, le recourant expose qu'à l'heure actuelle, la loi va dans la direction d'une ouverture du droit de garde, mais aussi du droit de visite, cela pour respecter le bien-être de l'enfant, car il est indispensable que celui-ci puisse être le plus de temps possible avec son parent. La solution retenue par la cour cantonale violerait l'<ref-law>, dès lors qu'en restreignant le droit de visite à un mercredi chaque deux semaines, elle ne respecterait pas cette volonté du législateur. L'excuse des trajets et de la fatigue de l'enfant ne pourrait être retenue car, d'une part, il serait connu et reconnu qu'un enfant en bas-âge récupère très vite de sa fatigue et, d'autre part, les trajets en question dureraient 35 minutes, ce qui resterait raisonnable. Bien souvent, un trajet - moins confortable - en bus dans une ville pourrait durer plus longtemps. Le recourant explique qu'il travaille à 80%, ce qui lui permet de s'occuper personnellement de ses enfants. Il serait préférable pour le bien-être de l'enfant qu'il soit gardé le plus possible par son père, plutôt que placé dans une structure d'accueil. De plus, C._ aurait déjà des activités régulières avec son demi-frère; ils se rendraient à un cours de musique tous les mercredis avec leur père, et lui enlever cette activité sociale reviendrait à chambouler son environnement social et sa stabilité. Pour ce qui est des vacances, le recourant préconise d'élargir le droit de visite à la moitié des vacances scolaires et des jours fériés, rappelant que la prise en charge de l'enfant peut aussi être confiée à des tiers comme des grands-parents, une crèche ou un internat. Partant, la vision de l'autorité précédente, conservatrice, voire surannée et arriérée, violerait l'<ref-law>. Elle serait d'autant moins correcte qu'il dispose en réalité de 5 semaines de vacances et non pas de 4, étant quoi qu'il en soit précisé que même si cette durée est inférieure à la moitié des vacances scolaires, elle ne justifie pas qu'il ne puisse avoir son enfant durant la moitié de ces vacances, dès lors que l'intimée travaille aussi, que C._ a des grands-parents paternels, disponibles, qui vivent près de U._ et une belle-mère et un demi-frère sous le même toit que le recourant.
En tant que la motivation du recourant se fonde sur des éléments de fait qui ne ressortent pas de l'arrêt entrepris, sans que le recourant ne se plaigne du caractère arbitraire de cette omission, il n'en sera pas tenu compte (cf. supra consid. 2.2). Tel est en particulier le cas : des considérations sur la nécessité d'un placement en structure d'accueil, faute d'étendre son droit de visite; de celles sur les facultés de récupération d'un enfant en bas-âge; des cours de musique que suivrait C._ en compagnie de son demi-frère et du recourant; du nombre de semaines de vacances du recourant; de la présence de grands-parents paternels, disponibles, près de U._.
Quant au grief de violation de l'<ref-law> - critique en soi recevable même si elle n'a pas été soulevée devant l'autorité précédente (<ref-law>) -, il est d'emblée dépourvu de pertinence, dès lors que le litige a pour objet la réglementation du droit de visite d'un parent, et non le droit aux relations personnelles exceptionnellement reconnu à d'autres personnes que les parents (cf. supra consid. 3.1.2).
Au surplus et s'agissant de la violation de l'<ref-law>, le recourant tente, par sa critique, de substituer son appréciation à celle de la cour cantonale, sans être en mesure de démontrer que celle-ci aurait abusé du large pouvoir d'appréciation dont elle dispose en l'espèce (cf. supra consid. 3.1.3), qu'il s'agisse du droit de visite en semaine ou en fin de semaine ou de la répartition de la prise en charge durant les vacances scolaires. Tel est en particulier le cas en tant que sa démonstration consiste à argumenter sur la base de considérations théoriques, correspondant au demeurant à sa propre compréhension de l'intention du législateur ou du bien-être de l'enfant. S'agissant plus précisément du droit de visite chaque semaine, le recourant n'a certes pas maintenu les conclusions qu'il avait prises en appel, qui impliquaient une scission dans la prise en charge de l'enfant durant les fins de semaine, pas plus qu'il n'a critiqué la motivation de l'autorité précédente quant à l'opportunité de permettre à chaque parent de prendre en charge leur enfant durant des week-ends non fractionnés. S'il réitère son argumentation sur la relativisation de l'éloignement des parents par référence au caractère supportable de trajets d'une durée de 35 minutes, qu'il estime raisonnable, il ne s'en prend pas à la nécessité de tenir compte du fait que cette durée augmente aux heures de pointe, évoquée en sus dans l'arrêt attaqué. Enfin, il ne discute pas non plus la problématique de la prochaine scolarisation de l'enfant, âgé de trois ans révolus, qu'il convient de protéger d'incessants changements dans les circonstances de la présente espèce; or l'arrêt querellé a entériné la solution du premier juge, lequel a aussi renvoyé, dans l'examen du droit de visite, aux motifs retenus dans l'examen du droit de garde sur l'enfant. En définitive, le grief de violation de l'<ref-law> se révèle également infondé.
4.
En conclusion, le recours est rejeté, dans la mesure où il est recevable. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant qui succombe (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimée, qui a succombé sur la question de l'effet suspensif et n'a pas été invitée à se déterminer au fond.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Ie Cour d'appel civil du Tribunal cantonal de l'État de Fribourg.
Lausanne, le 27 février 2017
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Dolivo