Jabarkan Kehidupan pribadi dan keluarga dari Lê Văn Duyệt

Lê Văn Duyệt memiliki seorang istri yang bernama Đỗ Thị Phận. Selain Lê Văn Khôi, Duyệt memiliki anak angkat lain yang bernama Lê Văn Yen yang beristrikan Puteri Ngoc Nghien, salah seorang anak perempuan Gia Long.

Secara umum Duyệt dideskripsikan sebagai seorang yang keras, bertemperamen tinggi, tetapi adil, sehingga membuatnya ditakuti dan dihormati oleh masyarakat. Banyak perwira militer dan birokrat tingkat rendah yang segan untuk berbicara dengannya secara langsung, sebagaimana juga beberapa pejabat tinggi. Beberapa catatan kemudian menggambarkan cara-caranya yang keras dalam suatu sudut pandang yang lebih negatif. Menurut Phan Thuc Truc, seorang pejabat kekaisaran di kemudian hari, Duyệt terkadang melakukan pukulan mematikan pada anjing-anjing dan memenggal kepala pejabat-pejabat senior setempat tanpa alasan apa pun. Duyệt juga dianggap sebagai seorang eksentrik; ia mengangkat 30 orang dari suku di dataran tinggi sebagai pelayan, memelihara 100 ayam dan 100 anjing di rumahnya. Setiap kali ia kembali ke rumah dinasnya setelah suatu penugasan, ia memerintahkan seekor harimau dan 50 anjing untuk berbaris di belakangnya. Pada tahun 1825, Michel-Duc Chaigneau, keponakan dari Jean-Baptiste Chaigneau (mandarin militer Gia Long dari Prancis), mengunjungi Gia Định dalam suatu misi pemerintah dan mengatakan bahwa Duyệt "memiliki bakat yang luar biasa baik dalam pertempuran maupun adminstrasi. Rakyat takut padanya, namun ia sungguh dicintai oleh rakyat karena ia adil."

Ia juga dikenal karena kecintaannya akan sabung ayam, hát bội (opera klasik Vietnam), dan tari istana, yang mana semuanya populer di kalangan masyarakat Vietnam selatan pada umumnya. Kabarnya ia menyampaikan suatu pidato panjang yang memuji sabung ayam, dengan cara bercanda, di hadapan Kaisar Gia Long dan terkadang memukul sendiri genderang pada pementasan hát bội untuk memberi semangat kepada para aktor dan aktrisnya.Huỳnh Minh, pp. 211–212. Ia juga dikenal memiliki perlindungan dari roh-roh para dewi yang dihormati secara umum oleh orang-orang selatan setempat dalam agama-agama rakyat. Selain itu, Duyệt merupakan instruktur dari tiga formalitas đình, suatu kode etik upacara dan adat istiadat yang meniru ritual-ritual kerajaan.

George Finlayson, seorang perwakilan dari pemerintah Britania yang mengunjungi Gia Định pada tahun 1822, mendeskripsikan Duyệt sebagai seseorang yang senang berpakaian biasa, hampir serupa dengan para petani konstituennya. Finlayson mengatakan bahwa Duyệt "berpenampilan cerdas, dan mungkin dihormati karena aktivitas yang cukup besar baik dari pikiran maupun tubuhnya: wajahnya bulat dan lembut, raut mukanya bergelambir dan berkeriput; ia tidak berjanggut, dan memiliki kemiripan yang cukup besar dengan wanita tua: suaranya juga terdengar melengking dan feminin."

Gaya Duyệt yang tidak formal menyebabkan ia mengalami kesulitan selama pemerintahan Minh Mạng, karena pemerintahan kaisar kedua tersebut lebih berorientasi pada Konfusianisme klasik daripada ayahnya. Para mandarin yang lebih muda menganggap Duyệt dan kelompoknya di selatan sebagai orang-orang yang tidak berbudaya, dan para perwira militer yang lebih tua merasa semakin tidak nyaman di dalam istana seiring berjalannya waktu. Gia Long juga dipandang sebagai seorang yang jujur dan lugas dalam menangani urusan-urusannya, sedangkan Minh Mạng dianggap tidak jelas dalam mengungkapkan pemikirannya kepada para birokratnya. Hal ini dikaitkan dengan ketergantungan Gia Long pada para perwira militer selama masa peperangan, yang mana mengharuskannya untuk berterus terang dan tegas, sedangkan Minh Mạng dibesarkan dalam lingkungan para cendekiawan di istana setelah pendirian Dinasti Nguyễn, dan dianggap sebagai seorang penguasa monarki yang tenang dan senang belajar. Setelah suatu kunjungan ke ibu kota pada tahun 1824, Duyệt merasakan bahwa istana kekaisaran merupakan suatu lingkungan yang tidak nyaman dan menceritakan hal ini kepada seorang koleganya:

Duyệt dan Le Chat, sesama jenderal dari selatan, kemudian mengundurkan diri dari kedudukan mereka, tetapi sang kaisar menolak penawaran mereka. Duyệt menginginkan suatu posisi di ibu kota, namun tidak diberikan karena adanya kecurigaan di kalangan istana bahwa sang jenderal dapat melakukan kudeta kekaisaran, tidak berbeda dengan banyak pemberontakan di masa lalu Vietnam. Duyệt dikirim kembali ke Vietnam selatan, jauh dari kursi kekaisaran.