Народився в сім'ї маянтковця Кароля Самуельовича Кастравицька (1814-1874) і його дружини середньозаможної шляхтянки Олени Тадеушівни Свентаржецької. Батько Кароль брав участь у повстанні 1863—1864, був засланий російською владою до Тобольська, а його маєток Малі Новосілки в Мінському повіті було вилучено. По лінії матері Амброзій Кастравицький був близьким родичем іншого повстанця — Болеслава Свентаржецького (1831-1888). Крім того, Кастравицькі мали близькі родинні зв'язки з іншими середньозаможними родами Мінщини — Ваньковичами, Войніловичами, Прушинськими, Оштарпами, Янішевськими та ін. Наприклад, близькою родичкою була Ядвіга Адамівна Кастравицька (з роду Войніловичів).