1914年，日军发动青島戰役，于11月7日占领了青岛，毛奇山的名字被改为若鹤山。1915年1月，日本陆军青岛守备军司令部决定设立青岛神社。1916年2月，神社选址于若鹤山。青岛百姓将神社称为“日本大庙”，称此山为“大庙山”。1916年5月，日本守备军将神社设计工作交由内务省神社局，技师主持设计工作，并约定次年1月前完成。1919年11月7日日本占领青岛五周年时，神社工程基本完工，并举行了镇座祭。神社大鸟居则建于1920年2月。每年10月7日，神社举行大祭。历经谈判，中国政府在1922年12月10日收回了青岛。根据中日双方签订的协定，青岛神社、忠魂碑及日本人墓地由青岛日本居留民团维护管理，禁止破坏。