Po zakończeniu pracy w Microsoft zaangażował się w działalność polityczną. Na początku marca 2012 założył własne ugrupowanie polityczne Zgromadzenie na rzecz Rozwoju Mali ("Rassemblement pour le Développement du Mali", RPDM), planując start w wyborach prezydenckich przewidzianych na 29 kwietnia 2012. Przygotowania do wyborów przerwał jednak zamach stanu dokonany przez juntę wojskową 21 marca 2012, która przejęła rządy w kraju. Wojsko przekazało władzę ponownie na ręce cywilnej administracji dopiero na mocy porozumienia podpisanego w kwietniu 2012. Zgodnie z jego warunkami, tymczasowym prezydentem Mali został Dioncounda Traoré, a w kraju miał zostać utworzony tymczasowy rząd jedności narodowej oraz zorganizowane wybory prezydenckie. 17 kwietnia 2012 Diarra został mianowany na stanowisko premiera rządu tymczasowego.