Aunque el estribillo de "Rainy Day Women" no es ambiguo, existen otras interpretaciones mucho más prosaicas, y de hecho, no hay ninguna referencia explícita a las drogas en la canción.