"By the Way" fue aplaudido por los críticos como una salida de los estilos anteriores de la banda, y es reconocido por las melodías poco animadas dadas por los Chili Peppers.