Bibliotekets nye lokaler viste seg raskt å være altfor små og en lang kamp om mer plass begynte. Det var Sør-Trøndelag fylkesbibliotek som for første gang, i brevform, påpekte at lokalene ved Frøya folkebibliotek ikke tilfredsstilte de normerte arealkrav. Brevet kom til kommunen i 1974 og ble etterfulgt av brev i 1975 og 1977. Etter ytterligere en purring i 1978, denne gangen fra Frøya folkebibliotek, ble saken tatt opp til behandling i Frøya formannskap. I mai 1978 støttet Frøya formannskap et vedtak om utbyggingen av biblioteket. Vedtaket inkluderte et romprogram med et areal på 400 m². Med dette ble det likevel ikke noe fart i utbyggingsplanene. I februar 1980 ba kulturstyret om at formannskapet måtte følge opp vedtaket fra 1978. Arkitekt Aukrust fra Trondheim ble engasjert og det ble avholdt et felles møte med Frøya folkebibliotekets samarbeidspartnere; grunnskolen og den videregående skolen. Under møtet ble et hurtigarbeidende utvalg nedsatt for å utrede de praktiske aspektene ved den planlagte utbyggingen. Hurtigarbeidende eller ikke gjorde utvalget ingen framgang i tre år da Frøya kulturstyre igjen purret på arbeidet med tanke på kostnadsoverslag og finansieringsplan for at det kunne bli sendt inn søknad om ekstra midler fra staten før 1. februar 1984. Ettersom utbyggingsplanene stod stille beskrev lokalavisen Frøya folkebibliotek som et sted som «snarere bærer preg av å være et bokmagasin enn et bibliotek». Ikke merkelig da biblioteket på den tiden rommet ca. bøker på 120 m² i tillegg til å ha plass til arbeidskontor, leseplasser, arkiv mm.