谷廉介出身于兵库县，旧篠山藩士矶谷次郎的三子。毕业于大坂陆军地方幼年军校，陆军中央幼年学校，1904年10月，自陆军士官学校16期毕业，​​与冈村宁次、板垣征四郎、土肥原贤二为同期生。在步兵第20联队任职。1915年12月，陆军大学校第27期毕业。与冈部直三郎、东条英机、今村均、本间雅晴、大岛浩同期。1916年成为参谋本部人员，派驻中国南方广东工作。先后在步兵第13联队、步兵第7联队任职，派驻广东多年的经历，使其专注于孙中山领导的国民党政权。1928年晋升大佐。后曾任第1师团参谋长、教育总监部课长，陆军