当天下午4时，20多名日军借口交涉公署前发现日军尸体，强行闯入交涉公署，把前后门围住，将署内人员的自卫枪支全部缴下。当晚9时，又有50多名日本兵闯进交涉公署，剪断电灯线，交涉公署顿时陷入黑暗之中。日本兵置国际公法于不顾，在手电筒照射下，撕毁国民政府旗帜青天白日旗及孙中山画像，强行搜掠文件。为避免事态扩大，蔡公时婉言要求日军停止搜查，退出公署；并请日本领事前来洽商，但均遭日军拒绝。蔡公时用日语同日本兵理论，严厉谴责日军破坏国际法，粗暴侵犯中国外交机关及外交人员的行径。但残暴的日本兵不等蔡公时说完，就用枪托将蔡公时打翻在地，又将蔡公时和17名随员全部捆绑起来。随后，一个日军兵宣读了日军第六师团长福田彦助屠杀外交官员的命令。蔡公时翻译给大家说：“日本兵要剥去我们的衣服、枪毙我们。我们没法，赴死可也。”
勤务兵张汉儒写下殉难始末记
一个日本兵跑上来，先将蔡公时的耳朵割掉，然后又将蔡公时的鼻子割下。蔡公时大义凛然，骂不绝口。凶残的日本兵突然将刀插进蔡公时的嘴里，使劲旋了两圈，剜掉了蔡公时的舌头，并将蔡公时的双眼挖出，蔡公时顿时全身血肉模糊，惨不忍睹。据在“五三惨案”中侥幸逃出的勤务兵张汉儒回忆说：“当时我虽已血流满面，痛之彻骨，但还惦记着蔡公时主任不知被日军作践成什么样子。
我借手电所见：诸人大多有耳无鼻、有鼻无耳、血肉模糊，其状之惨，令人毛骨悚然。蔡主任被削下鼻子，割去双耳，挖去双目后，整个头部和胸前被鲜血染红。”随后，日军一拥而上，将蔡公时等17人剥光衣服后用鞭乱打，并用刺刀乱戳乱砍，用极其残忍的手段百般凌辱后，然后分批拖到交涉公署院内用机枪扫射。蔡公时和他的16名随员，从5月3日当天8时开始办公，到晚上10点被日兵包围并杀害，赴山东交涉员公署任上前后不过14个小时。为了掩盖罪行，日本兵又一把火焚烧了遇难者的遗体，草草埋葬在交涉公署院内。
只有勤务兵张汉儒乘枪声一响，应声倒地，以后在黑暗中趁混乱之际剪断绳索逃出，惨案才得大白于天下。他作为现场见证人，写下了《蔡公时殉难始末记》，揭露了日寇犯下的滔天罪行。
“五三惨案”震惊世界
同日，日本侵略军向济南的中国军队发起挑衅，并随即发起大规模进攻，将7000余名北伐军缴械，同时在济南滥杀无辜平民。8日，日军炮轰济南，9日猛攻济南城门，北伐军将士奋起抵抗。5月10日，日军利用飞机、大炮、机枪，发疯似的轰炸扫射。蒋介石采取了退让方针，命令北伐军“忍辱负重”，撤出济南，绕道北伐。11日，国民革命军代理济南卫戍司令苏宗辙接到蒋介石密电，命令守军放弃济南。中国军队放弃济南后，日军进城，又大肆屠杀、洗劫，杀死杀伤中国民众数千人，来不及撤出的数百名北伐军伤员也全部被日军屠杀，这就是举世震惊的“济南惨案”。据济南惨案被难家属联合会调查：“济南惨案”中中国军民死亡6123人，伤1700多人，财产损失2957万元。因日军大规模屠杀中国军民是从5月3日开始的，故又称“五三惨案”。史学家称，这是南京大屠杀之前，现代国际史上最惨无人道的一幕。
“五三惨案”发生后，国民革命军绕道北伐，直到占领北京后，日军才表示愿意同国民党当局谈判。谈判反复进行了一个多月，1929年3月28日，中日两国就解决济南惨案问题在南京正式签字。“五三惨案”交涉结束后，日军被迫撤兵。从表面上看，好像这次中国对日外交获得了胜利，其实不然，因为日本只是履行了济南协定中的撤兵回国的一部分，而其赔偿损失部分却没有履行。“济南惨案”对当时的中国领导人蒋介石的心理产生重大冲击，蒋介石在1928年5月3日的日记中写道：“身受之耻，以五三为第一，倭寇与中华民族结不解之仇，亦由此而始也！”此后，蒋介石在日记中坚持每日写上“雪耻”二字。
