Grunnplatået består av om lag 1 milliard år gammelt prekambrisk grunnfjell, i hovedsak dominert av hard gneis og granitt på østvidda. Vidda er i sør og øst en del av det svekonorvegiske grunnfjellsskjold. For ca 600 millioner år siden var grunnfjellet erodert helt ned til peneplanet, mens områder lengre sør (Setesdalsheiene) sank ned under havet. Dagens flate landskap på Hardangervidda skyldes denne nedslitingen av fjellmassene i sen prekambrium. Under den kaledonske fjellkjedefolding 200 millioner år senere ble havbunns-sedimenter lagt over grunnfjellet, slik at skyvedekker og fyllitt fortsatt er viktig i geologien i nordvest (Hårteigen, Hardangerjøkulen, Hallingskarvet), med gneisplaten bevart bare helt øverst på de høyeste fjellene. Man finner ellers de nederste (eldste) lagene av dette fyllitt-dekket så langt sørøst som ved Haukeli. Noen steder førte fjellfoldingen til at eldre gneis ble lagt som en kappe over de foldede fyllittmassene. I tertiær-tiden ble vidda hevet opp, særlig i vest. Elvedannelse og kvartære isbreer bidro til å erodere bort og fjerne mye av fyllitten, og i vest er landskapet nesten blankskurt. I sør og vest er vidda sterkt preget av bunnmorene, som i områder med fyllitt gir til dels fruktbare forhold for plantelivet. Mange steder har også bunnavsatte eskere av grus og sand.