Toome volgde negen jaar klassieke piano en begon in 1994 zijn studies jazzpiano en popmuziek in Tallinn, onder andere aan de Georg Ots-muziekschool, waar zijn zangleraren onder andere Jaak Joala en Kare Kauks waren. Hij startte zijn muziekcarrière in 1995 als deel van het popduo Code One, samen met Sirli Hiius, dat gevormd was door producer Mikk Targo. Het duo had verscheidene hits in de Estse hitparade en nam in 1997 deel aan "Eurolaul", de Estse voorronde voor het Eurovisiesongfestival. Ze gingen uit elkaar in 1998. Dat jaar nam hij als soloartiest deel aan "Eurolaul" en won hij de preselectie met het lied "Mere lapsed" ("Kinderen van de zee"). Op het Eurovisiesongfestival in Birmingham eindigde hij op de twaalfde plaats met 36 punten. Toome bracht in 1998 ook een album uit met duetten met populaire Estse zangeressen. Het jaar daarop bracht hij zijn soloalbum "Koit Toome" uit, dat voornamelijk bestond uit zelfgeschreven materiaal.