Dopo una prima parte dellastagione giocata nel settore giovanile rossoblù, Rino Carlini viene aggregato alla prima squadra. Il suo esordio avviene allo Stadio San Siro l'8 novembre 1953 contro il (0-3) nell'insolito ruolo di centravanti. Quel giocare in attacco sarà solo un episodio, perché riportato nel suo ruolo naturale di centro mediano. Carlini diverrà poi uno dei perni inamovibili dello schieramento difensivo genoano. Con la maglia rossoblù gioca ininterrottamente per undici campionati. Titolare dalla stagione 1953-54 gioca per otto annate in Serie A. Nel 1960-61 con i rossoblù è costretto alla Serie B, proprio in quella stagione subisce un infortunio al menisco che ne condiziona le annate successive. Con i rossoblù vince la Coppa delle Alpi 1962, risultando tra i migliori giocatori impegnati nella finale contro il .