กระทั่งในเดือนพฤษภาคม พ.ศ. 2557 ภายหลังการยึดอำนาจโดย คสช. นายกิตติพงษ์ เป็นผู้หนึ่งที่ถูกกล่าวถึงทางสื่อมวลชนว่าจะเป็นผู้ได้รับแต่งตั้งเป็นนายกรัฐมนตรีคนกลาง แต่เจ้าตัวปฏิเสธว่าไม่มีการทาบทามแต่อย่างใด ต่อมาเขาได้รับแต่งตั้งเป็นที่ปรึกษานายกรัฐมนตรี ฝ่ายข้าราชการประจำ เนื่องจากดำรงตำแหน่งปลัดกระทรวงยุติธรรม ครบวาระ 4 ปี และต่ออายุมาแล้ว 2 ครั้ง ตามระเบียบของทางราชการ และต่อมาได้ออกจากราชการ เมื่อวันที่ 25 กุมภาพันธ์ 2558 เพื่อไปปฏิบัติหน้าที่ผู้อำนวยการสถาบันเพื่อการยุติธรรมแห่งประเทศไทย มีกำหนดเวลา 2 ปี