Hijo de Henry Colet, conocido mercader londinense a quien fue dado un título de nobleza y dos veces alcalde de Londres (en 1486 y en 1495).