Yildirim, som för närvarande är transportminister, betraktas som en ledande rådgivare till president Recep Tayyip Erdogan.
Utgående premiärminister Ahmet Davutoglu hade tydligen invänt mot Erdogans plan att stärka sin egen makt.
Presidenten var känd för att söka en mer "nära linje" premiärminister.
I ett tal på torsdag klargjorde Yildirim att han skulle arbeta "i total harmoni" med presidenten och alla andra nivåer av AKP.
Yildirim, 60, kommer att bekräftas som ny ledare för AKP vid en extra partikongress på söndag. Partiledaren tar automatiskt på sig rollen som premiärminister.
Även om Erdogans svärson, energiminister Berat Albayrak, hade nämnts som en möjlig kandidat, fanns hans namn inte med bland de tre främsta männen i en undersökning av parlamentsledamöter och partimedlemmar.
President Erdogan hoppas kunna flytta Turkiet från ett parlamentariskt system till ett presidentsystem med större verkställande befogenheter.
Valet av Binali Yildirim som föregångare till AKP:s ledarskap har förvånat få i Turkiet, eftersom han har varit erdoganfavorit i åratal. Han har förblivit lojal i de mest oroande tider, och denna lojalitet tycks ha lönat sig.
Han har tjänat som transportminister i många år och tvekade inte att avgå från sin post för att ställa upp i borgmästarvalet i den västra staden Izmir, ett sekulärt fäste, på Erdogans begäran.
Hans namn hade kommit upp som en möjlig kandidat till partiledningen vid förra årets AKP kongress. Och det tvingade mr Davutoglu att erkänna en del av sina befogenheter inom partiet.
En riksdagsledamot i AKP var tvungen att be om ursäkt efter att ha föreslagit att nästa premiärminister skulle vara ett "låg profil" namn. Många i Turkiet tror dock att han kommer att utgöra ett litet hot mot Erdogan.
Bland de reformer som AKP planerar är ett förslag som går till parlamentet på fredag för att häva immuniteten för parlamentsledamöter som är under utredning.
Åtgärden anses vara inriktad på det prokurdiska folkdemokratiska partiet (HDP) och den huvudsakliga oppositionen republikanska folkpartiet (CHP).
HDP fruktar att dess 59 parlamentsledamöter skulle kunna åtalas och utvisas från riksdagen på grund av anklagelser om stöd till militanter från Kurdistans arbetarparti (PKK). Det stora antalet prokurdiska parlamentsledamöter i parlamentet har också hindrat Eduardo Erdogans mål att driva igenom ökade presidentbefogenheter.
Ett eldupphör mellan Turkiet och PKK avslutades veckor efter valet i juni 2015 och den förnyade konflikten har krävt hundratals liv på båda sidor, särskilt i Turkiets sydöstra del.
Eduardo Erdogan har begärt att parlamentsledamöter från kurdiska parlamentsledamöter ska åtalas för terrorism, och fredagens omröstning kan vara ett första steg mot att detta ska ske.
Om regeringen får stöd av 367 av parlamentets 550 parlamentsledamöter kommer den att gå igenom direkt. Om 330 parlamentsledamöter stöder åtgärden, då kan det gå till omröstning. En folkomröstning ses som mer trolig eftersom 348 parlamentsledamöter stödde planen i en preliminär omröstning tidigare i veckan.
Det styrande AK-partiet i Turkiet har valt Binali Yildirim som kandidat till ledare, två veckor efter en rapporterad tvist med presidenten fick premiärministern att sluta.