Starfield ligger i et område som strekker seg utover fra solsystemet i omtrent 50 lysår, kalt Settled Systems. På 2050-tallet utforsket menneskeheten Mars, og på 2150-tallet ble en ny metode for raskere reiser i verdensrommet kalt "Grav Drive" oppdaget. Men dette destabiliserer jordens magnetosfære, og gjør kloden gradvis ubeboelig. Menneskeheten blir derfor tvunget til å bruke «Grav Drive» for å bosette seg i andre deler av verdensrommet. Dette fører etter hver til grunnleggelsen av United Colonies (UC) i 2159. I 2189 bryter Freestar Collective vekk fra resten av United Colonies. Rundt år 2310 havner disse to fraksjonene i en massiv konflikt kalt koloni-krigen. Mindre fraksjoner inkluderer House Va'ruun, en voksende destruktiv kult, Ryujin Corporation - et mektig konglomerat med tvilsom etikk - og Crimson Fleet, en gruppe sjørøvere og fredløse.