После этого удалился от государственных дел, разругавшись с Антонием. Когда в 31 году конфликт между Антонием и Октавианом достиг кризиса, Октавиан попытался привлечь Поллиона на свою сторону и предложил участие в битве при Акциуме против Антония. Поллион, однако, от участия в битве отказался, ответив, что «у него большие заслуги перед Антонием, и он сам, в свою очередь, обязан тому немалым, поэтому теперь устраняется от решения спора и станет добычей победителя».