Nadat Rubini in 1957 zijn carrière beëdigde zijn carrière. Van 1957 tot en met 1973 was Rubini coach van Olimpia Milano en behaalde in deze periode elf landstitels. Van 1975 tot en met 1991 was Rubini coach van het Italiaans basketbalteam, in deze periode behaalde de ploeg de zilveren medaille tijdens de Olympische Zomerspelen 1980, in 1983 de Europese titel.