Baker vokste opp i en hengiven baptistfamilie og hennes tidlige eksponering for musikk innebar blant annet å spille i kirken. Etter å ha sett Green Day på TV ble hun inspirert til å utforske mer alternativ musikk og begynte å lytte til band som My Chemical Romance og Death Cab for Cutie. Hun ble senere betatt av punk-, hardcore-, metalcore- og screamo-sjangrene og har uttalt at noen av favorittbandene hennes var mewithoutYou, Underoath, The Chariot, Norma Jean og Whitechapel.