命为第10师团长，在七七事变后，矶谷廉介指挥第10师团入侵华北地区作战，1938年3月，10师团之第33旅团沿津浦铁路线向徐州方向进攻，日军第33旅团（也称濑谷支队）孤军深入山东省南部的大运河韩庄～台儿庄一线，与李宗仁指挥第五战区的国民革命军交战，在台儿庄战役，一度受挫退却。国军将领李宗仁、汤恩伯等各部队放弃追击，国府遂称「大捷」而不称「大胜」。
与苏联的冲突.1938年6月，矶谷廉介接替东条英机任日本关东军参谋长。1939年5月，满洲国军队跟蒙古军队在诺门罕发生小规模边境武装冲突