Erstmals vertrat Cehlárik sein Heimatland in der Saison 2012/13, als er am Ivan Hlinka Memorial Tournament 2012 und der U18-Weltmeisterschaft 2013 teilnahm. Anschließend war er Teil der slowakischen U20-Nationalmannschaft bei den U20-Weltmeisterschaften 2014 und 2015, wobei das Team 2015 die Bronzemedaille gewann. Im Rahmen der Weltmeisterschaft 2016 debütierte der Flügelstürmer für die A-Nationalmannschaft und belegte dabei den neunten Platz. 2021 nahm er erneut an einer Weltmeisterschaft teil. Zum ersten Mal seit acht Jahren qualifizierte sich die Slowakei bei diesem Turnier für das Viertelfinale, schied aber dort gegen das Team der USA aus und belegte den achten Platz. Mit seinen 11 Scorerpunkten, die er in acht Spielen erzielte, war er der produktivste Spieler seines Teams. Cehlárik wurde in der Folge als bester Angreifer des Turniers ausgezeichnet.