"Time Fades Away" supuso el primero de tres fracasos comerciales que engloban la llamada "Ditch Trilogy", vistos como la exteriorización de conflictos internos tras el éxito de "Harvest" y la muerte de Whitten.