Kongeriket består av mange mektige familier, eller «hus». Alle husene har en «Lord» og en «Lady» som er overhode i familien. De fleste husene har eldgamle røtter, mens andre hus er ganske nye og unge. Hver familie eier et eget slott og har sine egne landområder. De mektigste husene er Stark, Baratheon, Lannister, Tully, Tyrell, Arryn, Martell, Targaryen og Greyjoy. Serien dreier seg for det meste rundt disse store familiene.