Andry lahir dalam sebuah keluarga kaya. Ayahnya, Kolonel Roger Yves Rajoelina, pernah memihak kepada Perancis dalam Perang Kemerdekaan Algeria.