Jakob Bagge ble født ved 1. mai 1502 i Halland eller Norge som sønn til Thord Olofsson Bagge og Ingeborg Jakobsdotter, begge av norsk adelig byrde. Hans far var hovedmann for den danske kongen Christian 2. i Stockholm i året 1522, da de svenske opprørerne ledet av Gustav Vasa satt denne byen under beleiring. Faren og hans sønn, den unge Jakob Bagge, gikk over til den svenske siden og aksepterte Vasa som deres herre under beleiringen. Etter kroningen av Gustav Vasa som Sveriges konge fikk Thord Bagge flere herreder i Södermanland og stillingen som kommandant i Viborg, mens Jakob først var nevnt som fogd over noen herred i Uppland.