Alba ble født i Pomonoa i California, og vokste opp på en militærbase med sine katolske foreldre, sin bror Joshua, og sine besteforeldre fram til hun var 16 år gammel. Hennes fars karriere innen luftforsvaret førte familien til Biloxi, Mississippi, og til Del Rio, Texas, før de kom tilbake til California da hun var ni år gammel.