Происхождение Руфа точно неизвестно; возможно, он был родом из Далмации. Известно, что Тарий Руф являлся профессиональным мореходом. Он был одним из префектов большого флота, которые сражались на стороне Октавиана в битве при Акции в 31 году до н. э. Руф вступил в бой с эскадрой кораблей во главе с Гаем Сосием до начала сражения, но был отброшен, пока с подкреплением не прибыл Марк Випсаний Агриппа.