Yılmaz var utdannet økonom fra Universitetet i Ankara i 1971 og studerte så ved Universität zu Köln. Han arbeidet deretter i det private næringslivet, før han gikk inn i politikken i 1983 som en av grunnleggerne av Anavatan Partisi. Han ble parlamentsmedlem samme år.