Den eldste kjente skriftformen på Gryllefjord er fra 1386. Med unntak av ett kjent tilfelle av er stedet senere skrevet som Gryllefjord eller Grøllefjord. Opphavet er antagelig et gammelt ord som betyr «å grave». Navnet kommer antagelig av at gropene og bunnene i fjellene på begge siden av fjorden er gravet ut av naturkreftene.