Fiske har vært hovednæringen for de fastboende på Ågerøya fra 1930-tallet fram til 1980-årene. Øya ble gradvis fraflyttet i denne perioden, da livet i byene (Kristiansand og Lillesand) hadde annet arbeid å by på. Skolen ble lagt ned på 1950-tallet. På 1980-tallet flyttet det flere ut med tilknytning på øya som hadde arbeid på land, hovedsakelig Kristiansand og Lillesand.