Buj ble grunnlagt i 1536 som et befestet sted ved samløpet av elvene Kostroma og Vjoksa. Befestningen ble bygget etter ordre fra Jelena Glinskaja, Russlands regent på den tid og mor til Ivan den grusomme.