Han ble født inn i en fornem adelsfamilie, der foreldrene var konvertitter. Under Joseon-dynastiet ble kristendommen hardt undertrykt og mange kriste ble forfulgt og henrettet. Far til Andreas, Ignatius Kim Chejun, led i 1839 martyrdød for å ha utøvd sin kristne tro, noe som på den tiden var forbudt i det konfucianske Korea.