Ruffo var en profiert grammofonartist, gjorde mer enn 130 innspillinger av 78-plater, både akustiske og elektroniske, først for Pathé Frères i Paris i 1904, og så eksklusivt for den italienske filial av His Master's Voice i 1906. Etter ankomst til USA i 1912 begynte han sitt lange samarbeid med Victor som endte i 1929. Som tilfelle var med Caruso, egnet Ruffos stemme seg eksepsjonelt godt til opptak. Den var så rik og resonant at selv med den primitive akustiske opptaksmetode er glorien bevart og kan høres. Han fortsatte med innspillinger frem til elektroniske opptak kom i 1925.