Faits : A. Le 30 décembre 2015, le Préfet du district de la Sarine a accordé à C.C._ et D.C._ une autorisation de construire ayant pour objet la démolition de trois garages et la construction d'une nouvelle habitation sur la parcelle 17063 de la Commune de Fribourg. L'opposition des voisins A.A._ et B.A._, copropriétaires de la parcelle 17061 contiguë, a été rejetée par cette même décision. La construction doit s'implanter le long de la limite avec la parcelle des opposants. De ce côté, la hauteur du mur en limite de propriété est de 3 m. La hauteur maximum du bâtiment concerné est en revanche de 4 m. Statuant sur recours des opposants A._, la II e Cour administrative du Tribunal cantonal de l'Etat de Fribourg a confirmé cette décision par arrêt du 23 mars 2016. B. Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral d'annuler l'arrêt cantonal et de renvoyer la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. La cour cantonale et le Préfet de la Sarine se réfèrent aux considérants de l'arrêt attaqué et concluent au rejet du recours. La Commune de Fribourg, ainsi que les intimés C.C._ et D.C._, se déterminent et concluent au rejet du recours. Les recourants répliquent et persistent dans leurs conclusions. Par ordonnance du 12 mai 2016, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours.