1914年11月日军占领青岛后，日本陆军青岛守备军下属的宪兵队充当警务机构，宪兵队本部设于原胶澳警察公署办公楼。青岛守备军宪兵队下辖8个分队，其中4个分队设于原德属胶澳租借地内，其他分队则设于济南、坊子等胶济铁路沿线地域。1922年12月北洋政府收回青岛主权后，胶澳警察公署旧址改为胶澳商埠警察厅办公楼。另有资料提及警察公寓旧址曾为胶澳商埠卫生局所在地。1929年4月南京国民政府接管青岛后，将原胶澳商埠警察厅改组为青岛特别市政府（后改为青岛市政府）下设的青岛市公安局。1936年6月改名为青岛市警察局。1937年七七事变后，市警察局于年末随市政府撤出青岛。1938年1月日军再次占领青岛后，华北临时政府下属的青岛市治安维持会设立警察部。1939年1月青岛市治安维持会改称青岛特别市公署，其警察部改称青岛特别市警察局，设于胶澳警察公署旧址。1945年8月日本投降后，国民政府于9月接收原青岛特别市警察局，并于10月重组青岛市警察局。