Faits:
A.
C._ est propriétaire des parcelles 1715, 1716, 1719 et 1720 de la commune de Venthône.
En 2009, il a obtenu l'autorisation d'y ériger quatre villas (A-B-E-F). La modification de ce projet sollicitée en 2010 a fait l'objet de plusieurs oppositions et a été refusée par l'autorité communale le 21 février 2011; l'élévation de l'implantation altimétrique envisagée, par la création d'un remblais de plus de 4 m de hauteur, était disproportionnée et compromettait l'aspect du site. Cette décision a été confirmée sur recours par le Conseil d'Etat, le 15 février 2012.
Le 29 juin 2012, C._ a déposé une nouvelle demande de modification de son projet, qui prévoyait une surélévation du terrain naturel de 1 m 20. Ce projet a suscité notamment l'opposition de A.X._ et B.X._, copropriétaires de la parcelle non bâtie 549 et de parts de propriété par étage sur la parcelle 1592.
B.
Le 30 octobre 2012, la commune a délivré à C._ le permis de bâtir sollicité et déclaré irrecevable l'opposition des époux X._, expliquant que ceux-ci n'étaient pas directement lésés dans leurs intérêts dignes de protection parce que leurs propriétés étaient situées à plus de 30 m des constructions projetées et séparées de celles-ci par quatre autres villas (C-D-G-H) déjà érigées.
A.X._ et B.X._ ont contesté cette décision devant le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat), qui a rejeté leur recours le 19 juin 2013.
Par arrêt du 4 octobre 2013, le Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours déposé par les époux X._ contre la décision précitée du Conseil d'Etat, considérant en substance que, malgré la faible distance séparant leurs bien-fonds des parcelles litigieuses, ceux-ci n'étaient pas touchés par les nouvelles constructions dans leurs intérêts personnels de manière nettement plus marquée que les autres habitants de la commune.
C.
Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 4 octobre 2013 ainsi que la décision du Conseil d'Etat du 19 juin 2013 et celle de la commune de Venthône du 16 octobre 2012. Subsidiairement, ils concluent au renvoi du dossier au Tribunal cantonal pour nouvel arrêt dans le sens des conclusions du recours. Les recourants se plaignent pour l'essentiel d'une violation de leur droit d'être entendus et font valoir que le Tribunal cantonal aurait dû reconnaître la recevabilité de leur opposition.
Le Tribunal cantonal renonce à se déterminer. Le Conseil d'Etat conclut au rejet du recours. La commune de Venthône ainsi que l'intimé C._ concluent également au rejet du recours, dans la mesure de sa recevabilité. D'autres écritures ont été déposées par la commune et les recourants.
Par ordonnance du 5 décembre 2013, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif des recourants.

Considérant en droit:
1.
1.1. Dirigé contre une décision finale rendue en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux art. 82 ss LTF. Aucune des exceptions prévues à l'art. 83 LTF n'est réalisée.
Les recourants ont participé à la procédure de recours devant le Tribunal cantonal. Ils sont particulièrement touchés par l'arrêt attaqué qui confirme l'irrecevabilité de l'opposition qu'ils avaient formulée contre le projet litigieux. Ils peuvent se prévaloir d'un intérêt digne de protection à faire constater que la légitimation active leur a été déniée à tort et à obtenir l'annulation de l'arrêt attaqué sur ce point, dès lors qu'il a pour conséquence de ne pas entrer en matière sur leurs griefs au fond. La qualité pour recourir selon l'art. 89 al. 1 LTF doit donc leur être reconnue.
Les autres conditions formelles de recevabilité sont remplies, de sorte qu'il y a lieu d'entrer en matière.
1.2. Toutefois, il y a lieu de préciser que l'objet du litige concerne uniquement la recevabilité de l'opposition déposée par les recourants auprès de la commune de Venthône. Leurs griefs au fond relatifs à une dérogation injustifiée à l'indice d'utilisation du sol et à l'implantation altimétrique des bâtiments débordent de l'objet de la contestation et sont par conséquent irrecevables.
2.
Dans un grief de nature formelle qu'il convient d'examiner en premier lieu, les recourants se plaignent d'un violation de leur droit d'être entendus. Ils reprochent au Tribunal cantonal et au Conseil d'Etat de n'avoir pas donné suite à leur requête d'aménager une inspection des lieux.
2.1. Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. comprend notamment celui de faire administrer les preuves pour autant que celles-ci soient requises dans les formes prévues par le droit cantonal et qu'elles apparaissent utiles à l'établissement des faits pertinents (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2b p. 56; <ref-ruling> consid. 2b p. 102). L'autorité de décision peut donc se livrer à une appréciation anticipée de la pertinence du fait à prouver et de l'utilité du moyen de preuve offert et, sur cette base, refuser de l'administrer. Ce refus ne viole le droit d'être entendu que si l'appréciation à laquelle elle a ainsi procédé est entachée d'arbitraire (<ref-ruling> consid. 3 p. 157 et les arrêts cités; sur la notion d'arbitraire, voir <ref-ruling> consid. 5.1 p. 17).
2.2. En l'espèce, le Tribunal cantonal a relevé que le dossier comportait des plans ainsi que des photographies prises en octobre 2011, à l'occasion d'un transport sur place organisé par l'organe d'instruction du Conseil d'Etat dans le cadre de la précédente procédure d'autorisation de construire; ces documents permettaient d'appréhender correctement la topographie des lieux, en particulier les distances entre les biens-fonds des époux X._ et ceux de l'intimé, et de se représenter l'impact que les constructions projetées devraient avoir sur le voisinage. Les juges cantonaux ont ainsi estimé qu'une inspection des lieux n'était pas nécessaire.
Les recourants estiment que la distance entre leurs biens-fonds et ceux de l'intimé, tout comme l'impact des constructions sur le voisinage, ne peuvent être appréciés uniquement sur la base de plans et de photographies. Ils critiquent par ailleurs la pratique du Tribunal cantonal de ne quasiment jamais se déplacer sur les lieux, ce qui serait toutefois indispensable en matière de constructions. Ce faisant, les recourants n'allèguent ni ne démontrent que le refus des juges cantonaux de procéder à une inspection des lieux dans le cas particulier serait arbitraire, ce qui n'apparaît manifestement pas être le cas. Le Tribunal cantonal pouvait dès lors, sans violer leur droit d'être entendus, rejeter leur offre de preuve.
2.3. Le grief de violation du droit d'être entendu relatif à la production du plan de situation du 26 janvier 2009 et du plan parcellaire issu de la division ultérieure des parcelles n'a pas à être examiné dans le cadre de la présente procédure, laquelle concerne uniquement la recevabilité de l'opposition des recourants, et non le bien-fondé de celle-ci (cf. consid. 1.2 ci-dessus).
2.4. Partant, le grief tiré d'une violation du droit d'être entendu et du droit à l'administration d'un moyen de preuve doit être rejeté.
3.
Au fond, les recourants affirment que leur opposition était recevable. Ils rappellent qu'en 2011, la commune de Venthône avait admis leur précédente opposition. Le changement de position de la commune quant à leur légitimation était contraire aux exigences les plus élémentaires de la bonne foi; la seule question des remblais prévus dans le premier projet ne suffisait pas à justifier un tel revirement. Par ailleurs, il était choquant de dénier à des voisins situés à 30 m du projet la qualité pour faire opposition à des constructions illégales, ce d'autant qu'avant le morcellement ayant abouti au parcellaire existant, leur parcelle était contiguë à celle de l'intimé. Enfin, les juges cantonaux ne pouvaient, sans arbitraire, considérer que les nuisances engendrées par l'implantation illégale d'une villa supplémentaire étaient négligeables.
3.1. Selon l'art. 33 al. 3 let. a de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (RS 700; LAT), la qualité pour recourir devant les instances cantonales doit être reconnue dans les mêmes limites que pour le recours en matière de droit public devant le Tribunal fédéral contre les décisions fondées sur la LAT et sur les dispositions cantonales d'exécution. Une exigence analogue ressort de l'art. 111 al. 1 LTF, selon lequel la qualité de partie à la procédure devant toute autorité cantonale précédente doit être reconnue à quiconque a qualité pour recourir devant le Tribunal fédéral. Il en résulte que la qualité pour recourir devant les autorités cantonales ne peut pas s'apprécier de manière plus restrictive que la qualité pour recourir devant le Tribunal fédéral, les cantons demeurant libres de concevoir cette qualité de manière plus large (cf. <ref-ruling> consid. 5 p. 149 et les références).
3.2. La légitimation pour former opposition dans la procédure valaisanne d'autorisation de construire est définie à l'art. 40 de la loi cantonale du 8 février 1996 sur les constructions (ci-après: la LC). Cette disposition accorde la qualité pour agir aux personnes qui se trouvent directement lésées dans leurs propres intérêts dignes de protection par le projet déposé. Les recourants ne prétendent pas que le droit cantonal serait plus large que le droit fédéral sur ce point. Il convient dès lors d'examiner si la qualité pour former opposition devait être reconnue aux recourants sous l'angle de l'art. 89 al. 1 LTF. S'agissant de droit fédéral (art. 33 al. 3 let. a LAT et art. 111 al. 1 LTF), le Tribunal fédéral examine cette question librement.
4.
En vertu de l'art. 89 al. 1 LTF, a qualité pour former un recours en matière de droit public quiconque est particulièrement atteint par la décision attaquée (let. b) et a un intérêt digne de protection à son annulation ou à sa modification (let. c). Selon la jurisprudence, l'intérêt digne de protection consiste dans l'utilité pratique que l'admission du recours apporterait au recourant en lui évitant de subir un préjudice de nature économique, idéale, matérielle ou autre que la décision attaquée lui occasionnerait. Il implique que le recourant soit touché de manière directe, concrète et dans une mesure et avec une intensité plus grandes que la généralité des administrés. L'intérêt invoqué, qui peut être un intérêt de fait, doit se trouver dans un rapport étroit, spécial et digne d'être pris en considération avec l'objet de la contestation (<ref-ruling> consid. 2.3 p. 43 et les arrêts cités). Le voisin direct de la construction ou de l'installation litigieuse a en principe la qualité pour recourir. Le critère de la distance n'est toutefois pas le seul déterminant. S'il est certain ou très vraisemblable que l'installation litigieuse serait à l'origine d'immissions - bruit, poussières, vibrations, lumières ou autres - touchant spécialement les voisins, même situés à quelque distance, ces derniers peuvent aussi se voir reconnaître la vocation pour recourir (<ref-ruling> consid. 2.3.1 p. 285; arrêt 1C_33/2011 du 12 juillet 2011 consid. 2.3 in DEP 2012 p. 9). Par ailleurs, la proximité avec l'objet du litige ne suffit pas à elle seule à leur conférer la qualité pour recourir contre l'octroi d'une autorisation de construire. Ils doivent en outre retirer un avantage pratique de l'annulation ou de la modification de la décision contestée qui permette d'admettre qu'ils sont touchés dans un intérêt personnel se distinguant nettement de l'intérêt général des autres habitants de la collectivité concernée de manière à exclure l'action populaire (<ref-ruling> consid. 2.2.3 et 2.3 p. 33 s.; <ref-ruling> consid. 1.3.1 p. 252, 468 consid. 1 p. 470).
Enfin, il incombe au recourant d'alléguer, sous peine d'irrecevabilité du recours, les faits qu'il considère comme propres à fonder sa qualité pour recourir, lorsqu'ils ne ressortent pas de façon évidente de la décision attaquée ou du dossier (<ref-ruling> consid. 1b p. 175 et l'arrêt cité; <ref-ruling> consid. 1 p. 229; <ref-ruling> consid. 2 in fine p. 508 et les références).
5.
En l'espèce, les parcelles des recourants se situent respectivement à moins de 30 m et à environ 80 m des biens-fonds sur lesquels l'intimé projette de bâtir les quatre villas litigieuses. A ces distances, le critère de la proximité géographique est rempli. Les recourants ont par ailleurs allégué que le projet de l'intimé créera des nuisances supplémentaires par la réalisation illégale d'une villa qu'une application correcte de l'indice d'utilisation du sol dans cette zone ne permettrait pas d'ériger. En principe, ces griefs fondent la qualité pour recourir des voisins car ils ont un effet direct sur l'usage de leur immeuble.
5.1. S'agissant de la parcelle 549, le Tribunal cantonal a relevé qu'elle était certes située à moins de 30 m des biens-fonds où l'intimé projetait d'ériger les villas litigieuses, mais que des constructions semblables se trouvaient entre deux; la vue et le dégagement depuis le 549 n'étaient ainsi aucunement touchés par le projet contesté. Les recourants se contentent de soutenir que cette affirmation serait arbitraire, les juges cantonaux n'ayant jamais vu les lieux; cette assertion ne suffit toutefois manifestement pas à démontrer que les constatations de fait du Tribunal cantonal seraient insoutenables (cf. art. 97 al. 1 et 105 al. 1 et 2 LTF; cf. <ref-ruling> consid. 3 p. 104 s.). Au contraire, un examen des plans litigieux confirme que, depuis la parcelle 549, les nouvelles constructions ne seront pas visibles - ou du moins à peine visibles -, car masquées par les villas existantes.
Le Tribunal cantonal a par ailleurs considéré que la position surélevée de la parcelle 1592, la distance de 80 m la séparant des biens-fonds litigieux, l'existence de constructions déjà érigées entre ces parcelles ainsi que les dimensions modestes des villas projetées ne permettaient pas d'admettre que ces dernières altéreront de façon significative la vue et le dégagement en direction de la plaine du Rhône. Dans leur recours devant le Tribunal fédéral, les intéressés ne remettent nullement en question ces constatations; ils ne se plaignent en particulier pas que les nouvelles constructions auraient un impact négatif sur la vue dont ils jouissent depuis leur immeuble. Il n'y a dès lors pas lieu de s'écarter des constatations de la cour cantonale, ce d'autant qu'elles sont corroborées par les différentes pièces figurant au dossier.
Partant, sur la base des constatations de fait de la cour cantonale qui lient le Tribunal fédéral (cf. art. 105 al. 1 LTF), il apparaît que les recourants ne se trouvent pas dans une situation suffisamment étroite avec l'objet du litige, malgré la proximité des parcelles.
5.2. Au fond, les recourants semblent se plaindre principalement d'une dérogation injustifiée à l'indice d'utilisation du sol, qui permettrait l'implantation illégale d'une villa supplémentaire (quatre au lieu de trois). L'arrêt attaqué a relevé à cet égard que les nuisances engendrées par une habitation individuelle additionnelle étaient négligeables, voire pratiquement inexistantes, et ne constituaient pas une atteinte spéciale aux intérêts des recourants. Ceux-ci se bornent à soutenir que les considérations du Tribunal cantonal sont choquantes, sans toutefois expliquer quels préjudices découleraient pour eux de l'éventuelle irrégularité qu'ils soulèvent. Or ces atteintes ne sont pas manifestes.
Ce faisant, les recourants n'ont pas démontré quels avantages pratiques ils pourraient retirer d'une modification du permis de construire litigieux dans le sens souhaité, alors qu'il leur appartenait d'alléguer les faits propres à fonder leur qualité pour recourir. Ils ne peuvent dans ces conditions se prévaloir d'un intérêt de fait distinct de celui des autres voisins à l'annulation du permis de construire. C'est dès lors à bon droit que le Tribunal cantonal a confirmé que leur qualité pour agir dans ce cadre ne pouvait être admise.
6.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable. Les recourants qui succombent supportent les frais de justice (art. 66 al. 1 LTF). En vertu de l'art. 68 al. 2 LTF, ceux-ci verseront à l'intimé une indemnité à titre de dépens.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge des recourants.
3.
Une indemnité de 3'000 fr. est allouée à l'intimé à titre de dépens, à la charge des recourants.
4.
Le présent arrêt est communiqué aux parties, à la Commune de Venthône, au Conseil d'Etat du canton du Valais et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 20 mars 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard