Som en følge lite bruk, ble det i 1934 av «en av byens skibsførere» framsatt forslag om å rive tårnet. I stedet burde en bygge en ny Sjømannsskole på Valberget. «Tårnet skriver seg bare fra 1850-årene og kan således ikke sies å ha historisk verdi for byen. Det har gjort sin nytte som utkikstårn og brandvaktstårn, byen har ikke lenger bruk for det. Det står der til ingen nytte og koster bare penger.» Forslaget møtte naturlig nok mye motbør, men ble trukket fram igjen nå og da i årene etterpå.