Hijo de Pero González de Madrid, hidalgo y primer tesorero de la Hermandad de Castilla, y de María de Armunia, ambos miembros de la antigua nobleza palentina, Alonso fue dirigido desde muy joven para el estado eclesiástico.