Родился в семье провинциального учителя. После подавления польского январского восстания 1864 г. семья поселились в Радоме, где юный Аполлоний начал учиться в местной гимназии. Благодаря своим талантам в рисовании, стал учеником руководителя частной школы живописи Юзефа Брандта. В 1885 году Ю. Брандт направил А. Киндзерского для продолжения обучения в Варшавскую школу под руководством Войцеха Герсона.