Se sabe que Iván de Vargas tenía dos hermanos, cuyos nombres no han trascendido, y tanto el propio Iván como su hermano mayor se establecieron en Madrid tras su conquista, mientras que el tercer hermano partió probablemente hacia Toledo.