หลังจากการเสียกรุงศรีอยุธยาครั้งที่สองในพ.ศ. 2310 พี่สาวทั้งสามของนายบุญมาถูกกวาดต้อนไปพม่า นายบุญมาเดินทางลี้ภัยไปอาศัยที่เมืองเพชรบูรณ์ นายบุญมาเข้ารับราชการอีกครั้งในรัชสมัยสมเด็จพระเจ้ากรุงธนบุรี ดำรงตำแหน่งเป็นพระพลเมืองเพชรบูรณ์ อยู่กับพระยาเพชรบูรณ์ (ปลี) ต่อมาเมื่อพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกเสด็จขึ้นครองราชสมบัติในพ.ศ. 2325 นายบุญมาได้รับการแต่งตั้งให้เป็นที่"พระยาตะเกิง" จางวางกรมพระแสงปืนซ้าย ต่อมาในพ.ศ. 2337 เมื่อพระยายมราช (บุนนาค) เลื่อนขึ้นเป็นเจ้าพระยาอรรคมหาเสนาสมุหกลาโหม พระยาตะเกิง (บุญมา) จึงได้เลื่อนขึ้นเป็น"พระยายมราช" เสนาบดีกรมพระนครบาล