Kort fortalt er sangen basert på en Texaslegende fra Texas' uavhengighetskrig. Ifølge legenden ble en kvinne med navn Emily D. West, en mulatt (derav sangens referanse til at hun var "gul"), pågrepet av mexicanske styrker under plyndringen av Galveston. Hun forførte General Antonio López de Santa Anna, Mexicos president og kommanderende for de mexicanske styrkene. Legenden krediterer hennes antatte forførelse med at de mexicanske styrkene senket garden og lettet den texanske seieren i slaget ved San Jacinto i 1836, nær nåværende Houston. Santa Annas motstander var General Sam Houston, som vant slaget bokstavelig talt i løpet av minutter og med nesten ingen tap.