Bandet ble etablert i 2004 av medlemmer fra andre lokale band. Navnet fikk de fra filmen , hvor Captain Jack Sparrow roper ut Etter en liten endring, ved å bytte ut «that» til «the» ble navnet på bandet til.