В латинском языке ударение ставится на предпоследний слог обычно. Так Гаусс называл: "Tales numeros vocabimus numeros integros complexos, ita quidem, ut reales complexis non opponantur, sed tamquam species sub his contineri censeantur."Если следовать латинской логике, то нужно говорить кОмплекс, но комплЕксный. Но, скажем, гугл переводчик озвучивает кОмплексный.В английском используется complex numbers, так что ударение на O. Поскольку в научной литературе сейчас термины в основном калькируются с англоязычных, то все говорят кОмплексные числа. И, видимо, только представители старой школы, которые помнят еще гальюны вместо туалетов, используют ударение на Е.