Yudhoyono is gebore in Pacitan, Oos-Java en is die seun van 'n offisier in die leër. Hy studeer af aan die Indonesiese Militêre Akademie in 1973 en trou met die dogter van 'n ander leëroffisier. In 1975 neem hy deel aan die Indonesiese inval van Oos-Timor en dien daar vir 'n geruime tyd.
Yudhoyono word byna onmiddellik in sy ou funksie deur die nuwe president, Megawati Soekarnoputri herbenoem. Na die bom op Bali in Oktober 2002 lei hy die vervolging en die arrestasies van die (vermoedelike) verantwoordelikes. Hy kry binne sowel as buite Indonesië 'n reputasie as één van die weinige Indonesiese politici wat die oorlog teen terrorisme ernstig opneem.