Bakers forfatterskap er gjennomsyret av religiøse temaer, og er ofte kjent for sitt tidvis voldelige innhold. Håp, forløsning, kjærlighet, avhengighet, skam, selvforakt og direkte appeller til Gud er alle fremtredende motiver gjennom hele hennes tekster. Musikken hennes inneholder ofte ærlige utforskninger av avhengighet og edruelighet, og hun har vært åpen om sine erfaringer med rusmisbruk og psykiske lidelser.