Antes de fundar Paramore, Williams y el bajista Jeremy Davis, junto con su amigo Kimee Read, participaron en una banda de música funk en la que realizaban versiones bajo el nombre de The Factory, mientras Josh y Zac Farro practicaban con su propia banda después de la escuela.