I tiden som fulgte var det mye fram og tilbake mellom de tre partene BBK, Drammen- og Lier kommune. De klarte ikke komme til enighet om hvor klubben kunne bygge. I tillegg protesterte enkelte av naboene, som ikke ønsket oppføring av flere bygninger i området. Totalt måtte saken behandles tre ganger i bygningsrådet etter naboklager og protester om alt fra «lysdemping» til at hagene i nærheten ville bli brukt som «avtrede for trengende». Protestene førte ikke fram og det ble til slutt gitt klarsignal til bygging fra både Drammen og Lier kommune. I 1978 sto det nye klubbhuset ferdig på Brakerøya etter et år med iherdig dugnadsinnsats. Fra planleggingen startet til bygget sto ferdig gikk det hele 23 år, og det ble derfor en storslagen markering da klubbhuset endelig var klart til bruk. I løpet av byggeperioden la medlemmene i foreningen ned over 4000 dugnadstimer, en innsats som for øvrig ble verdsatt til rundt 200 000 kroner. Den totale kostnaden for bygningen ble 1,3-1,4 millioner kroner.