Током раздобља пре доласка ислама, подручје Газнија насељавала су многа племена која су практиковала различите религије, попут будизма и хиндуизма. Арпски муслимани су представили ислам граду у 7. веку н. е. Њих је следила династија Саманида у 9. веку. Током следећег века, владар Себук-Тегин прогласио је Газни главним градом новонасталог Газнавидског царства. Под владавином Гурида, град је био уништен, али је касније обновљен. Газни је чинио део разних регионалних сила, укључујући Тимуриде и Делхијски султанат. Насеље касније преузима Хотакијско царство, коју следи Дуранско царство и на односно модерни Авганистан. У 19. веку, током Првог англо-авганистанског рата, британско-индијске снаге делимично разарају Газну.