Der in der Präfektur Kumamoto geborene Inoue Sadae war der dritte Sohn eines Polizeioffiziers. Nach dem Besuch einer Militärgrundschule besuchte er die Kaiserlich Japanische Heeresakademie, welche er 1908 abschloss. Er nahm mit dem 44. Infanterieregiment an der Sibirischen Intervention teil. Nach Beginn des Zweiten Japanisch-Chinesischen Krieges wurde er zum Befehlshaber des 5. Infanterieregiments ernannt. In der Folgezeit stieg er schnell in den Rängen auf und wurde im März 1939 schließlich zum Generalmajor befördert und zum Befehlshaber der 33. Division ernannt. Ab 1941 diente er im Stab des Hauptquartiers der Taiwan-Armee. Nach der Beförderung zum Generalleutnant 1942 wurde Inoue zum Befehlshaber der in China stationierten 69. Division.