Faits : A. A.a. Les époux B._ sont copropriétaires de la parcelle no 12697 de la commune de U._. Les époux A._ sont copropriétaires des parcelles voisines nos 12696 et 13164 sises dans la même commune. A.b. Une servitude de passage pour tous véhicules à charge et en faveur des parcelles nos 12695, 12696, 12697 et 13164 a été inscrite au registre foncier de Sion le 25 mai 2005. L'assiette de la servitude a été définie sur un plan, qui fait partie intégrante de l'acte constitutif de servitude. A.c. Le conflit qui oppose les parties porte sur différents points, à savoir la construction, par les époux A._, d'un mur d'enceinte empiétant sur l'assiette de la servitude, le stationnement régulier de leurs véhicules sur celle-ci ainsi que le goudronnage, par les époux B._, de la route permettant l'exercice de la servitude. B. B.a. Le 25 mai 2012, les époux B._ ont introduit auprès du Tribunal des districts d'Hérens et Conthey une action visant à ce qu'ordre fût donné aux époux A._ de respecter l'arrondi de la servitude tel que prévu dans son plan de constitution, la réalisation des travaux nécessaires au respect de l'assiette de la servitude, notamment la démolition d'une partie du mur d'enceinte empiétant sur celle-ci, devant être réalisés dans les 60 jours dès l'entrée en force du jugement (ch. 1). Les demandeurs ont également conclu à ce qu'ordre fût donné aux époux A._ de respecter l'assiette de la servitude et de ne pas parquer leurs véhicules sur celle-ci (ch. 2). Les injonctions réclamées l'étaient sous la sanction de l'art. 292 CP (ch. 3). Les époux A._ ont pour leur part conclu au rejet intégral des conclusions prises par leur partie adverse (ch. 1), aux frais et dépens de celle-ci (ch. 2). A titre reconventionnel, ils ont conclu à ce que la servitude litigieuse fût réduite en ce sens que son tracé à l'angle sud-est de la parcelle 12696 correspondît à l'arrondi de leur mur d'enceinte, la modification du tracé étant opérée sur leur réquisition et sur présentation du jugement au registre foncier de Sion (ch. 3). Les époux A._ ont par ailleurs réclamé qu'ordre fût donné aux demandeurs d'enlever à leurs frais le goudron recouvrant la route permettant l'exercice de la servitude et d'abaisser celle-ci de 40 cm, ce dans les 60 jours dès l'entrée en force du jugement (ch. 4) et sous la menace de la sanction de l'art. 292 CP (ch. 5). Par jugement du 26 mars 2014, le juge de district a notamment admis l'action confessoire ouverte par les époux B._ (ch. 1) et condamné les époux A._ à modifier le mur d'enceinte empiétant sur l'assiette de la servitude de passage conformément au plan établi par l'expert géomètre le 23 novembre 2012, ce dans les 60 jours dès l'entrée en force du jugement (ch. 2). Ordre a également été donné aux époux A._ de respecter l'assiette de la servitude et de ne plus stationner de véhicules sur celle-ci (ch. 3). Les conclusions reconventionnelles des époux A._ ont par ailleurs été rejetées (ch. 4). B.b. Statuant le 24 février 2016 sur l'appel formé par les époux A._, le juge suppléant de la Cour civile II du Tribunal cantonal du canton du Valais l'a rejeté. C. Agissant le 11 avril 2016 par la voie du recours constitutionnel subsidiaire au Tribunal fédéral, les époux A._ (ci-après: les recourants) concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente pour nouveau jugement dans le sens des considérants. Les recourants invoquent la violation de leur droit d'être entendus ainsi que l'arbitraire dans l'application des art. 317 CPC, 641 et 928 CC. Les époux B._ (ci-après: les intimés) n'ont pas été invités à se déterminer.