Rakarov vant en olympisk bronsemedalje i fotball under Sommer-OL 1956 i Melbourne. Han var med på det bulgarske laget som kom på tredjeplass i fotballturneringen bak Sovjetunionen og Jugoslavia. Bulgaria vant kvartfinalen med 6-1 over Storbritannia men tapte semifinalen mot Sovjetunionen med 1-2. I bronsefinalen mot India vant de med 3-0. Rakarov spilte tre kamper i turneringen.