1900年代的各份青岛手绘中文地图中仍将该岛标注为“青岛”。1904年总督府港务部门在其上建造了一座高12.5米的八角锥形白色大理石灯塔，即今日的小青岛灯塔。1914年日军占领青岛后，以日本海军中将加藤定吉之名改称“加藤岛”。1922年青岛回归后，胶澳商埠督办公署恢复了“青岛”的名称。1929年，青岛特别市设立后，该岛屿正式更名为“小青岛”。1930年代小青岛一度辟为公园。1936年，青岛市曾进行“青岛十景”的评选，“琴屿飘灯”位列其中。1941年，日军将小青岛改建为军事用地，并将岛屿内部打通作为鱼雷军