进入山东时，日军以保护侨民为由横加阻挠，蔡公时奉命赴济南与日方交涉。然而，日本军队于5月3日强行进入交涉公署。蔡公时为维护民族正义慷慨陈辞，用日语斥责日本军人之暴行，被日军割去耳鼻挖去双眼舌头，最终将蔡公时及随从17位外交人员杀害。史称“济南惨案”或“五三惨案”。随后蒋中正率领北伐军绕道北上，继续北伐。
家属.儿子蔡今任在台湾，从事警职直至退休，曾任嘉义县警察局民雄分局溪口分驻所所长，嘉义县做过嘉义县的户政事务所主任。女儿蔡今明在济南惨案后被蔡公时好友查尔炽收养，后在山东大学