Giuseppe Gargan, 48 år, har befunnits skyldig till åtta anklagelser om tjänstefel men har fått återvända till arbetet.
Federationens Avon och Somerset-gren sade att den "inte kan föreställa sig" hur allmänheten eller polisen kan ha "tillit till sitt ledarskap".
Giuseppe Gargan sade att han förstod att människor hade frågor och sade att han skulle ta upp dessa.
I ett uttalande som utfärdades genom Chief Police Officers Staff Association, sade han att han var "mycket ser fram emot att återvända till arbetet" och "börja processen för att återuppbygga förtroendet för styrkan".
Kommentarerna om hans återgång till arbetet gjordes i ett öppet brev till Avon och Somerset polis- och brottskommissarie Sue Mountstevens.
Giuseppe Gargan avbröts till följd av påståenden om brott mot uppgiftsskyddet och olämpligt beteende gentemot kvinnor.
En panel fann honom skyldig till tjänstefel - men friade honom från grov tjänstefel. Hans avstängning hävdes och en gradvis återgång till arbetet förbereddes.
Giuseppe Gargan sade att hans agerande hade "fallit under de normer som förväntades av en chefskonstapel".
I brevet sett av BBC, Polisförbundet sade chef konstapeln är "den person som sätter standarden för yrkesmässigt beteende och etiskt beteende" och rollen "måste vara obeskrivlig" i allmänhetens och polisers ögon.
Det sade att dess officerare dagligen hade tillfrågats av "de samhällen de tjänar" hur chefskonstapeln "kan återvända till arbetet under dessa omständigheter".
Brevet avslutas med att förbundet uppmanar kommissionsledamoten att "visa ett starkt ledarskap när det gäller att hantera denna fråga".
Några tidigare medlemmar av kåren har också kritiserat Giuseppe Gargans återkomst.
En grupp pensionerade officerare sade att "debacle" hade orsakat "mer smärta och skada på moralen än vad man kan föreställa sig".
Lawrie Lewis, en pensionerad chefsintendent, sade att styrkans rykte hade varit "allvarligt skamfilat".
Sue Mountstevens sade: " Det förfarande som skall följas i samband med sanktionsförhöret är strängt reglerat.
"Som med alla rättsliga processer när förfarandena inte är avslutade är det inte möjligt att diskutera eller kommentera dem förrän de är klara."
Polisförbundet har uttryckt bristande förtroende för Avon och Somerset polischef Nick Gargan.