A pesar de la divergencia de versiones y de alcanzar el primer puesto en la lista de discos más vendidos del Reino Unido y el cuatro en la lista estadounidense "Billboard 200", "Self Portrait" fue el primer álbum de Dylan en recibir críticas negativas de la mayoría de la prensa musical: al respecto, Greil Marcus de "Rolling Stone" llegó a publicar una reseña bajo el título "«What is this shit?»" —en español: «¿Qué es esta mierda?»—.