En "By the Way", tomando influencias de músicos como Vini Reilly de The Durutti Column y John McGeoch, Frusciante utilizó progresiones de guitarra multifacéticas, herramientas como el melotrón y varios pedales de efectos.