A "Kaga"t "Tosa" osztályú csatahajóként kezdték el építeni, és 1921. november 17-én bocsátották vízre. A washingtoni flottaegyezmény miatt 1922. február 5-én mindkét "Tosa" osztályú csatahajó építését félbeszakították. Az egyezmény viszont engedélyezte hogy két csatahajót átépítsenek repülőgép-hordozóvá. Az átépítésre a befejezetlen "Amagi" és "Akagi" csatacirkálókat választották, de az 1923-as nagy kantói földrengés olyan súlyosan megrongálta az "Amagi" hajótestét hogy azt le kellett bontani, és helyette a "Kaga"t építették át repülőgép-hordozóvá. A "Kaga" átépítése 1923-ban kezdődött és 1928 márciusára lett kész. 1930-ban került a flottához.