Tåtøy var lenge delt mellom to gårddsbruk, Østre og Vestre Tåtøy. Bebyggelsen på Tåtøy startet for alvor på 1860-tallet. På 1950-tallet var det omkring 300 fastboende og på 1970-tallet omkring 250. Øya hadde tidligere to skipsbyggerier. Dagens skolebygning er fra 1894.