Tanto para «Give It Away», como para el resto del álbum, Rubin buscó conseguir una atmósfera similar a una grabación de 1960 hecha sin pensar en el comercio ni en la viabilidad, además de restarle importancia a los sonidos «intensos».