Während seiner gesamten Karriere war Ferraris für seinen, für einen Spitzensportler untypischen, Lebenswandel bekannt. Er war leidenschaftlicher Raucher, liebte es zu pokern und galt als unverbesserlicher Frauenheld. 1938 versprach er Nationaltrainer Vittorio Pozzo mit dem Rauchen aufzuhören, damit dieser ihn für die WM in Frankreich nominierte, er tat es jedoch nicht und verpasste so die WM-Teilnahme und damit seinen zweiten WM-Titel.