Det är Fiskeriverket som är mottagare av den särskilda fiskeavgiften .