Gryllefjord var i i tidligere tider et tradisjonelt fiskevær som varte til slutten av 1600-tallet. I 1894 startet nye dampdrevne fiskefartøyer opp torskefiske, og innledet en ny tid for stedet. Gryllefjord fikk dampskipskai i 1895, skolehus 1898 og telefonstasjon i 1900. I årene etter krigen opplevde stedet en blomstringstid som varte fram til 1960- og 1970-årene. I de senere år har stedet opplevd en sterk befolkningsnedgang. På 1970-tallet bodde det rundt 1 300 personer i Gryllefjord, mens det i 2021 bare var 382 innbyggere. Hovedgrunnen til fraflyttingen er at stedet lever av fiske og at nedgangen i antall båter er markant.