Rinne byl vybrán v 8. kole na 258. místě celkově vstupního draftu NHL 2004 Nashvillem Predators, se kterým podepsal smlouvu 23. srpna 2005, načež začal svojí zámořskou kariéru na farmě Nashvillu za Milwaukee Admirals v lize AHL. Zpočátku dělal druhého brankáře Brianu Finleymu, ale poté co se Finleymu nedařilo jej Rinne nahradil na postu prvního brankáře Admirals. Během sezóny 2005-06 se Rinne objevil ve dvou zápasech NHL. V létě 2006 byl napaden neznámými útočníky a při bitce si vykloubil rameno. Následně se musel podrobit operaci a musel vynechat první 4 měsíce sezóny 2006-07.