Александр родился в семье Фелициана Матвеевича Рудзкого — офицера, участника подавления Польского восстания 1830—1831 годов. С момента учреждения Корпуса лесничих (1839) Ф. М. Рудзкий перешёл на службу в него и за заслуги пожалован рядом наград, в том числе орденом Св. Георгия 4-й степени (1850) и чином генерал-майора (1869).