ภายหลังการเสียกรุงศรีอยุธยาครั้งที่สองแก่กรุงอังวะแล้ว พระยาตาก (สิน) ได้ปราบดาภิเษกขึ้นเป็นพระมหากษัตริย์และย้ายราชธานีมายังกรุงธนบุรี ในขณะนั้นนายทองด้วงมีอายุ 32 ปี ได้เข้าถวายตัวรับราชการในแผ่นดินสมเด็จพระเจ้ากรุงธนบุรีตามคำชักชวนของน้องชาย พระมหามนตรี (บุญมา) โดยได้รับพระกรุณาโปรดเกล้าฯ แต่งตั้งให้เป็น "พระราชริน (พระราชวรินทร์)" เจ้ากรมพระตำรวจนอกขวา และย้ายมาอาศัยอยู่ที่บริเวณวัดบางหว้าใหญ่ (วัดระฆังโฆสิตารามวรมหาวิหารในปัจจุบัน) ในปี พ.ศ. 2311 สมเด็จพระเจ้าตากสินมหาราชเสด็จขึ้นไปตีเมืองพิมายซึ่งมีกรมหมื่นเทพพิพิธเป็นเจ้าเมืองพิมายอยู่ พระราชรินและพระมหามนตรีได้รับพระราชโองการให้ยกทัพร่วมในศึกครั้งนี้ด้วย หลังจากการศึกในครั้งนี้ พระราชรินได้รับการเลื่อนบรรดาศักดิ์เป็น "พระยาอภัยรณฤทธิ์" จางวางพระตำรวจฝ่ายขวา เพื่อเป็นการปูนบำเหน็จที่มีความชอบในการสงครามครั้งนี้