I 2004 innledet Armstrong og rockestjernen Sheryl Crow et forhold, som imidlertid tok slutt tidlig i 2006. Armstrong skal dessuten ha hatt et forhold til skuespiller Kate Hudson en kortere periode i 2008.