Han ble født på storgården Flom i Flåbygd og var sønn av Amandus Paus (1695–1761) og Karen Aanonsdatter Falck. Faren var yngste sønn av Kviteseidpresten Hans Povelsson Paus og kjøpte i 1727 Flom. Aanon Paus ble oppkalt etter morfaren, skipsreder og trelasthandler i Arendal Aanon Aanonsen (d. 1732). Faren ble i samtiden omtalt med tittelen , som viser at han ble regnet som «borgerlig gårdbruker», og var yngre bror til sorenskriver i Øvre Telemark Peder Paus.