Budowa rozpoczęła się w 1784. Trwała osiem lat. W 1788 do nieukończonego jeszcze budynku wprowadziły się Regiment Fizylierów Artylerii Koronnej i Korpus Inżynierów Koronnych, dla których koszary pozostały miejscem stacjonowania aż do upadku insurekcji kościuszkowskiej w 1794.