Faits :
A.
A._ est propriétaire du bien-fonds n° 198 de la commune de Vaulruz, classé en zone résidentielle à faible densité. En mars 2015, le prénommé a déposé une demande de permis pour la construction de deux bâtiments à trois logements en terrasse sur le coteau. Mis à l'enquête publique du 13 au 27 mars 2015, ce projet a suscité cinq oppositions.
Le 31 mars 2015, la Commune de Vaulruz a préavisé défavorablement le projet, estimant qu'il aurait, de par sa nature, ses dimensions et son emplacement, un impact visuel trop important sur ses alentours; elle précisait qu'elle portait le titre de commune médiévale et qu'elle se devait de préserver une cohérence de l'urbanisation et une harmonie du paysage. Les divers services cantonaux consultés ont émis des préavis favorables, parfois avec conditions. En particulier, la Commission d'architecture et d'urbanisme (CAU) a, dans son préavis du 13 mai 2015, souligné que le projet s'insérait dans un ensemble linéaire de villas greffées sur une crête qui s'étirait derrière le château, que la parcelle - très en pente - était exposée à la vue depuis la plaine et que le coteau constituait un ensemble remarquable dans le paysage. Elle a précisé que le quartier de villas qui s'était développé sur la crête était le résultat d'une planification malheureuse. A ses yeux, la construction de la partie supérieure du coteau permettrait d'achever un mode d'occupation déjà largement réalisé, avec des volumétries simples et mieux adaptées que la disparité de taille et de forme que présentaient les constructions existantes entre le château et le projet; quant au boisement de la partie inférieure, il permettrait de restituer la continuité du cordon forestier qui donnerait son unité à cet ensemble paysager. Le projet rendrait l'ensemble de l'aménagement du coteau plus cohérent et minimiserait l'atteinte au site que présente l'égrenage de petites toitures et de pignons sur la crête.
B.
Par décision du 12 novembre 2015, le préfet a refusé le permis de construire en se fondant notamment sur la clause d'esthétique. Il a relevé que le projet s'intégrait mal au contexte paysager et bâti existant de par ses dimensions notamment. L'intérêt public à la protection du site, eu égard à la présence de monuments patrimoniaux importants que sont l'église, le château, et la ferme recensés à l'Inventaire fédéral des sites construits d'importance nationale à protéger en Suisse (ISOS) l'emportait sur l'intérêt privé du requérant à bâtir son projet.
C.
A._ a recouru contre la décision préfectorale auprès de la II e Cour administrative du Tribunal cantonal. Dans le cadre de l'instruction, le Service de la nature et du paysage (SNP), ainsi que le Service des biens culturels (SBC) ont été invités à se déterminer. Le SNP a estimé que le projet n'avait pas d'influence sur le château et l'église, au vu de la distance importante qui les séparait. La partie supérieure du coteau était déjà occupée par un quartier de villas individuelles d'architectures diverses mais avec une typologie de résidence à faible densité homogène cohérente avec les fermes et bâtiments ruraux des alentours; en revanche, les deux bâtiments en terrasse projetés évoquaient une typologie citadine, de type habitat collectif, déconnectée de cet environnement rural et offraient une architecture urbaine dense inadéquate. Quant au SBC, il a considéré que le projet - se démarquant du bâti existant par le gabarit, la hauteur des façades Sud-Est ou encore le caractère des toitures - aurait un impact sur le caractère de la crête dominée initialement par le bourg d'origine médiévale. Il était certes difficile d'attribuer aujourd'hui des qualités architecturales et urbanistiques à ce quartier; toutefois, la rupture d'échelle du projet par rapport au contexte bâti plus traditionnel ne plaidait pas pour une meilleure cohérence du quartier, puisqu'elle en accentuait encore l'effet hétérogène. Enfin, la CAU confirmait que le projet permettait de rétablir une certaine cohérence de l'ensemble du site, notamment sous l'angle de la continuité paysagère.
Par arrêt du 18 novembre 2016, le Tribunal cantonal, après avoir procédé à une inspection locale, a confirmé la décision préfectorale. Pour l'essentiel, il a estimé que les autorités locales n'avaient pas violé la clause d'esthétique de l'art. 125 de la loi fribourgeoise du 2 décembre 2008 sur l'aménagement du territoire et des constructions (LATeC, RSF 710.1) en considérant que les villas en terrasse projetées ne s'harmonisaient pas au site existant.
D.
A._ forme un recours en matière de droit public contre l'arrêt cantonal. Il demande au Tribunal fédéral d'annuler cet arrêt et partant d'accorder l'autorisation de construire. Subsidiairement, il conclut au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
L'instance précédente et le préfet concluent au rejet du recours. La Commune n'a pas déposé d'observations.

Considérant en droit :
1.
Dirigé contre une décision prise en dernière instance cantonale rendue dans le domaine du droit public des constructions, le recours est recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a pris part à la procédure de recours devant l'autorité cantonale et est particulièrement touché par l'arrêt attaqué qui confirme le refus d'autoriser son projet de construction. Il a donc la qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité du recours en matière de droit public étant remplies, il convient d'entrer en matière.
2.
Le recourant reproche à l'instance précédente d'avoir procédé à une application arbitraire du droit cantonal, à savoir de l'art. 125 LATeC, ainsi que d'avoir violé son droit de propriété garanti à l'art. 26 Cst.
2.1.
2.1.1. Les restrictions de droit public à la propriété ne sont compatibles avec l'art. 26 Cst. que si elles reposent sur une base légale, sont justifiées par un intérêt public suffisant et respectent les principes de la proportionnalité.
2.1.2. Aux termes de la clause d'esthétique contenue à l'art. 125 LATeC, les constructions, installations et aménagements extérieurs, dans leur intégralité et leurs parties, doivent être conçus et entretenus dans un souci d'harmonisation avec l'environnement construit et paysager, de façon à ce qu'un aspect général de qualité soit atteint.
Selon la jurisprudence, l'application d'une clause d'esthétique ne doit pas aboutir à ce que, de façon générale, la réglementation sur les zones en vigueur soit vidée de sa substance. Lorsqu'un plan de zones prévoit que des constructions d'un certain volume peuvent être édifiées dans tel secteur du territoire, une interdiction de construire fondée sur une clause d'esthétique, en raison du contraste formé par le volume du bâtiment projeté, ne peut se justifier que par un intérêt public prépondérant. Il faut que l'utilisation des possibilités de construire réglementaires apparaisse déraisonnable. Tel sera par exemple le cas s'il s'agit de protéger un site, un bâtiment ou un ensemble de bâtiments présentant des qualités esthétiques remarquables, qui font défaut à l'immeuble projeté ou que mettrait en péril sa construction (<ref-ruling> consid. 6c p. 222 s.; <ref-ruling> consid. 3d p. 119; arrêt 1C_340/2015 du 16 mars 2016 consid. 6.1.1 et les arrêts cités).
Lorsqu'il s'agit d'examiner l'application de clauses d'esthétique, le Tribunal fédéral fait preuve de retenue dans l'appréciation des circonstances locales. Dans ce domaine, les autorités locales disposent en effet d'un large pouvoir d'appréciation (cf. <ref-ruling> consid. 4.3 p. 416 et les références; arrêt 1P.678/2004 du 21 juin 2005 consid. 4, in ZBl 2006 p. 430). C'est le cas notamment lorsqu'il s'agit de savoir si une construction ou une installation est de nature à compromettre l'aspect ou le caractère d'un site, d'une localité, d'un quartier ou d'une rue (ATF <ref-ruling> consid. 3d p. 118, 363 consid. 3b p. 367; arrêt P.265/1985 du 16 avril 1986 consid. 3 in RDAF 1987 p. 155).
2.1.3. Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.1 p. 168; <ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379).
2.2. En l'occurrence, le Tribunal cantonal a tout d'abord relevé que l'aménagement de la crête effectué jusqu'à ce jour était certes malheureux. Toutefois, la construction en terrasse dans une forte pente des deux villas présenterait à ses yeux une volumétrie importante, en tout cas sur le plan visuel, sans commune mesure avec les constructions existantes égrenées sur la colline, en zone résidentielle à faible densité; ces habitations auraient un impact paysager très important. La cour cantonale a retenu, à l'instar du SPN et du SBC, que le projet impliquait une rupture d'échelle qui allait encore accentuer l'hétérogénéité du quartier en y apportant en outre une typologie citadine qui n'avait rien à faire dans le milieu rural de la commune. L'instance précédente a ainsi estimé que les autorités locales pouvaient valablement considérer que les villas en terrasse projetées ne s'harmonisaient pas au site existant.
2.3. Le recourant se plaint dans deux griefs distincts - qui, tels qu'ils sont présentés, se confondent - d'une application arbitraire de la clause d'esthétique, ainsi que d'une violation de la garantie de la propriété. Il reproche en substance au Tribunal cantonal de s'être écarté sans motifs objectifs du préavis des experts de la CAU pour lesquels le projet améliorerait le site actuel; les avis du SPN et du SBC - émis seulement au stade la procédure de recours devant le Tribunal cantonal - seraient secondaires par rapport à tous les préavis favorables recueillis lors de la procédure de mise à l'enquête. Selon lui, la CAU serait plus qualifiée pour déterminer le caractère urbanistique du projet et pour la protection du site. Le recourant invoque également le fait que le projet n'aurait, selon le SPN, "pas d'influence sur le château et l'église, au vu de la distance qui les sépare", démontrant ainsi à ses yeux l'absence d'intérêt public prépondérant à la protection du site.
2.4. Contrairement à ce que soutient le recourant, le Tribunal cantonal, dont le juge délégué s'est rendu sur les lieux, a exposé les éléments objectifs pour lesquels le projet ne s'intégrait pas d'un point de vue esthétique au site existant. Le projet litigieux était en rupture avec ce quartier résidentiel, en raison de sa volumétrie importante et de son architecture urbaine déconnectée du milieu rural de la commune. Il a fait sien l'avis exprimé par la Commune de Vaulruz, de même que par le SPN et le SBC, écartant ainsi celui de la CAU. Dans ces conditions, le recourant devait présenter des éléments concrets de nature à démontrer le caractère manifestement insoutenable de l'appréciation du Tribunal cantonal. Or, il se contente d'affirmer de manière péremptoire que l'instance précédente ne pouvait écarter le préavis favorable de la CAU, qui serait en outre plus qualifiée que le SPN ou le SBC; le recourant ne cherche pas à démontrer en quoi l'appréciation des circonstances locales par l'instance précédente serait concrètement déraisonnable en l'espèce. Il n'est manifestement pas suffisant d'affirmer que l'avis de la CAU - au demeurant consultatif - primerait celui du SPN et du SBC, composés de spécialistes en matière de paysage et de protection des biens culturels. Le fait que les autres services cantonaux aient émis des préavis favorables n'est par ailleurs pas déterminant puisque leurs prises de position ne portent pas sur la question de l'intégration du projet à l'environnement construit et paysager.
Au demeurant, au vu des pièces figurant au dossier, notamment des montages photographiques, ainsi que de la réserve que le Tribunal fédéral s'impose en ce domaine, l'appréciation de l'instance précédente n'apparaît pas insoutenable s'agissant en particulier d'un projet très exposé à la vue depuis la plaine. Les griefs soulevés par le recourant doivent dès lors être rejetés, dans la mesure de leur recevabilité.
3.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité, aux frais de son auteur, qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à la Commune de Vaulruz, à la Préfecture du district de la Gruyère et au Tribunal cantonal de l'Etat de Fribourg, II e Cour administrative.
Lausanne, le 12 juillet 2017
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
La Greffière : Arn