El Yayoi fue construido por la Corporación Muelles de Uraga en su astillero en Uraga el 11 de enero de 1924, botado el 11 de julio de 1925 y completado el 28 de agosto de 1926. Originalmente comisionado simplemente como Destructor No. 23, al buque le fue asignado el nombre Yayoi el 1 de agosto de 1928. A finales de la década de 1930, el Yayoi participó en combates durante la Segunda Guerra Sino-Japonesa y más tarde en la invasión de la Indochina francesa en 1940.