Ivan Baranka begann seine Karriere als Eishockeyspieler beim HK Spartak Dubnica, für den er in der Saison 2002/03 sein Debüt in der Extraliga gab. In zwei Spielen blieb er punkt- und straflos. Zuvor hatte Baranka bereits mehrere Jahre im Jugendbereich für Dubnica gespielt. Nach der Saison wurde er im NHL Entry Draft 2003 in der zweiten Runde als insgesamt 50. Spieler von den New York Rangers ausgewählt. Zunächst spielte der Slowake jedoch zwei Jahre lang für die Everett Silvertips, die ihn im selben Jahr in der ersten Runde des CHL Import Drafts als insgesamt zweiten Spieler gezogen hatten, aus der Western Hockey League.