O Tu-126 entrou em serviço em 1965, apesar de ter sido identificado pela inteligência ocidental apenas em 1968, após aparecer em um documentário soviético. Oito aeronaves de produção foram construídas além de um protótipo entre 1965 e 1968 e todos eram baseados em Šiauliai. A inteligência ocidental estimou que o desempenho de seu radar era inferior a seus equivalentes, não sendo capaz de detectar mísseis de cruzeiro ou uma pequena aeronave voando baixo. Entretanto, alega-se que o Tu-126 tinha um poderoso equipamento de bloqueio. O Tu-126 foi usado pela Força Aérea Soviética até ser substituído pelo Beriev A-50. Um único Tu-126 foi também emprestado para a Índia durante a Guerra Indo-Paquistanesa de 1971. O último Tu-126 foi aposentado em 1984.