Den 36-årige var på grund av kapten länet i deras sista fyra Division One fixturer, men har blivit ombedd att vila en hamstring skada av Cricket Australien.
"Vi är naturligtvis besvikna över att Adam inte kan återvända", sade verkställande direktör för cricket Angus Fraser.
"Han är en bra spelare och en högt respekterad medlem av vår trupp. Hans närvaro kommer att missas."
Voges har spelat 18 Tests för Australien och presenteras i alla tre matcher i deras senaste serien nederlag av Sri Lanka.
Han hade gjort sex Championship framträdanden för Middlesex innan den turnén, poäng 388 körningar.
Championship ledare Middlesex kommer att vara utan Australien fladderman Adam Voges för resten av 2016 säsongen.