Faits : A. B.B._ et C.B._ ont demandé l'autorisation de construire une maison individuelle en résidence principale avec couvert à voitures et terrasse en toiture sur la parcelle n o 322 du registre foncier de la Commune de Châtel-sur-Montsalvens; l'aménagement d'un escalier extérieur et de murs de soutènement est également prévu. Selon le plan d'aménagement local (PAL), cette parcelle se situe en zone résidentielle à faible densité et à l'intérieur du périmètre du plan d'aménagement de détail "La Larisse" (ci-après: PAD). Mis à l'enquête publique en 2016, le projet a suscité l'opposition de A._, propriétaire de la parcelle voisine n o 324. Le 6 juin 2016, la commune a émis un préavis favorable avec conditions. Egalement appelé à se prononcer, le Service cantonal de la mobilité (ci-après: SMo) a rendu un préavis défavorable le 29 juillet 2016. Il a considéré que la visibilité de l'accès n'était pas démontrée ni garantie conformément à la norme VSS SN 640 273a et que les aménagements extérieurs (implantation de l'escalier) gênaient la visibilité. Le 14 septembre 2016, le Service des constructions et de l'aménagement (SeCA) a également émis un préavis négatif en raison des modifications de terrain entrainées par le projet et du préavis négatif du SMo. Le 29 septembre 2016, les constructeurs ont produit des plans modifiés afin de se conformer aux exigences des services précités. Ceux-ci ont émis de nouveaux préavis favorables avec conditions, respectivement les 13 et 20 janvier 2017. Le 13 février 2017, le Préfet du district de la Gruyère a rendu la commune attentive au fait que le projet de construction nécessitait une dérogation à la distance à la route. Par courriel du 10 avril 2017, les constructeurs ont déposé une demande de dérogation pour la construction du couvert à voitures. La commune a transmis cette demande de dérogation aux voisins, en particulier à A._, qui a formé opposition. Le 28 août 2017, le Conseil communal a octroyé une dérogation aux prescriptions à la distance à la route privée à usage commun pour la construction du couvert à voitures; il a partant également écarté l'opposition. Par décisions du 7 novembre 2017, le préfet a accordé le permis de construire requis et rejeté l'opposition formée par A._. Le 11 décembre 2017, A._ a porté la cause devant la II e Cour administrative du Tribunal cantonal du canton de Fribourg. Par arrêt du 3 mai 2018, la cour cantonale a rejeté le recours dont elle était saisie. Elle a en résumé considéré que l'octroi d'une dérogation à la distance à la route se justifiait au regard notamment de la déclivité de la parcelle des constructeurs et de la configuration des lieux. B. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que la dérogation aux prescriptions à la distance à la route ainsi que le permis de construire sont refusés. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente pour nouvelle instruction et décision dans le sens des considérants. Il sollicite enfin l'octroi de l'effet suspensif. Le Tribunal cantonal renvoie aux considérants de son arrêt et demande le rejet du recours. Le Préfet de la Gruyère n'a pas de remarques à formuler. La commune se réfère à ses observations déposées devant l'instance précédente et confirme l'octroi d'une dérogation. Les intimés concluent au rejet du recours. Par ordonnance du 4 juillet 2018, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif.