Durante sus últimos años en el cargo, Caboto se enfrentó con los cosmógrafos de la Casa de la Contratación, principalmente Alonso de Chaves y Pedro de Medina, que defendían un enfoque matemático y astronómico de la navegación.