Turkiet anklagar prästen, Fetullah Gulen, för att iscensätta den misslyckade kuppen i juli förra året.
I en videointervju berättade Woolsey för Wall Street Journal att han var närvarande vid en diskussion om metoder för avlägsnande utöver den lagliga utlämningsprocessen.
Flynn bestrider Woolseys redogörelse.
Mötet ägde rum i september förra året på ett hotell i New York.
Bland de närvarande fanns Flynn, som sedan var rådgivare i nationell säkerhet i samband med valkampanjen i Trump, den turkiske presidentens svärson Recep Tayyip Erdogan och den turkiske utrikesministern Mevlut Cavusoglu, enligt WSJ (paywall).
Mr Woolsey, då också ge råd Trump kampanjen, medgav att han kanske inte har hört "någon form av caveat" eftersom han kom sent till mötet.
Men han sade till WSJ: "Det var en allvarlig diskussion om att hitta ett sätt att flytta Gulen från USA till Turkiet.
"Du kanske kallar det brainstorming. Men det var brainstorming om en mycket allvarlig sak som ganska tydligt skulle vara ett brott mot lagen. "
Han fortsatte: "Det var en allvarlig och oroande diskussion, men det gjorde inte, upprepa inte, i min del av att vara i rummet, stiga till en nivå av att vara en specifik plan för att begå en brottslig handling."
I en senare intervju med CNN kallade Woolsey mötet "misstänksamt" och "berörande", och sade: "Jag kände att jag behövde säga något till någon, men var det en tydlig plan att de skulle gripa honom? Nej, det gör jag inte.
En talesman för Flynn, vars konsultföretag Flynn Intel Group arbetade för den turkiska regeringen, ifrågasatte Woolseys version av händelserna.
"Någon gång gjorde Gen Flynn diskutera några olagliga handlingar, icke-rättsliga fysiska avlägsnande eller någon annan sådan verksamhet," sade han.
Gulens närvaro i USA har blivit en stor irritation i förbindelserna mellan Washington och Ankara. Turkiet har upprepade gånger krävt att han skall överlämnas.
Gulen, som har bott i Pennsylvania sedan 1999, förnekar deltagande i den misslyckade statskuppen.
Fethullah Gulen: Kraftfull men reclusive turkisk präst
Michael Flynn: F.d. amerikansk säkerhetsrådgivare
Flynn tvingades avgå som nationell säkerhetsrådgivare i mitten av februari efter bara några veckor efter anklagelserna om att han diskuterade sanktioner med Ryssland innan Trump tillträdde.
Privata amerikanska medborgare är utestängda från diplomati. Flynn medgav att han förde en ofullständig redogörelse till vice ordföranden för sitt samtal med den ryske ambassadören.
President Trumps före detta nationella säkerhetsrådgivare, Michael Flynn, diskuterade avlägsnande från USA en muslimsk präst som önskades av Turkiet, enligt f.d. CIA-chef James Woolsey.