Ruffo gjorde sin første debut på en operascene i 1898 ved Teatro Constanzi i Roma som «Herald» i Wagners . Etter en langsom start, tok hans karriere av tidlig på 1900-tallet, og han oppnådde snart internasjonal anerkjennelse på grunn av en kraftfull og ren stemme og sin opptreden.