Williams dijo al respecto: «Unos dos días después de que se fue, escribimos "All We Know" [...] El sofá en la portada del álbum, con nadie allí, y la sombra que se va, es sobre Jeremy y cómo a nosotros nos hace sentir que hay un espacio vacío», y Farro agregó: «Era un buen tema sobre el cual escribir [las canciones del] álbum».