そんなことはありません。インフラエンジニアはサーバー・ネットワーク等の管理を行いますが、仕事のイメージが湧きにくいため、未経験者には不人気のようです。 しかし、ほとんどの人はプログラマーを目指すよりもインフラエンジニアの方が努力が報われるはずです。できる・できないと言うよりは記憶の要素が大きいためです。 食わず嫌いせずに、プログラマーとインフラエンジニアの両方のどちらが向いているのかを良く考えてください。