Peder Krogs privatliv var også turbulent. Stiftet havde ikke en embedsgård og han byggede derfor sin egen bolig. Den brændte ned til grunden i 1699 i en brand, som biskoppen hævdede var påsat. Her mistede han også sit bibliotek og manuskripter. Derefter købte han den forfaldne Bakke gård, på østsiden af Nidelven lige udenfor byen og byggede den op til en respektiv bisperesidens. Lige ved siden af gården lod han Bakke kirke opføre for at betjene befolkningen på bakklandet, som for nylig var overført til "Strinda prestegjeld", da Peder Krog selv var sognepræst. Under den svenske general Carl Gustaf Armfeldts belejring af Trondheim i 1718 under den Store Nordiske Krig besluttede forsvarene af byen at afbrænde Bakke gården og bebyggelsen på Bakklandet for at svenskerne skulle kunne søge dækning der; kun kirken blev skånet. Peder Krog beregnede sit personlige tab til 4550 rigsdaler. Han blev ikke tildelt nogen erstatning, måske fordi hans gæld ved kirkeregnskaberne blev fundet større end hans fordring på Staten. Under Københavns brand i 1728 brændte hans logi på Frue kirkegård ned.