Navnet, uttalt med trykk på tredje stavelse (/giləlɑjə/), er en sammensetning av to ord; , som er en kløft eller sprekk, og , som er et sted hvor fiskere kommer visse årstider for å fiske. Det er sannsynligvis en sammenheng med Gilbjerg Leje fra området Gilbjerg vest for byen. Byer som slutter på , er ofte fra det 16. århundre da fiskerne begynte å slå seg og dannet byer.