Golubacs tidlige historie er usikker. Inskripsjoner og funn av festningsrester på stedet viser spor av en romersk bosetting, noen ganger kalt Columbaria. Det er også uklart om festningen ble bygd av serbere eller ungarere eller hvor mange tårn festningen opprinnelig hadde. Et serbisk-ortodokst kapell bygget inn i et av tårnene kan tyde på at dette ble oppført av en serbisk adelsmann, men det er usikkert. Det knytter seg også usikkerhet til når byggingen tok til, selv om det er alminnelig antatt at den største delen av festningen ble bygget tidlig i det fjortende århundret.