Пахимер родился в Никее в 1242 году в семье беженцев из Константинополя. После взятия города крестоносцами Никея стала столицей нового государства византийцев. После того как греки отвоевали свою средневековую столицу у латинян в 1261 г., Пахимер переехал в Константинополь и продолжил свою учёбу у Георгия Акрополита.