I 1873 ble det bygd en telegraf på Grøtøy, bak hovedbygningen. Å få telegrafen plassert på Grøtøya var et statussymbol, og betydde at Grøtøya var en viktig plass. Den gamle telegrafbygningen brant ned i 1907. Straks etter at den gamle brant ned, ble en ny telegrafbygning reist. Denne overlevde den andre brannen i 1912 og står fremdeles på øya.