Patrick de Chaworth entstammte der anglonormannischen Familie Chaworth. Er war ein jüngerer Sohn von Patrick de Chaworth, der Hawise de Londres, die Erbin der Herrschaft Kidwelly in Südwestwales geheiratet hatte. Zusammen mit seinem älteren Bruder Payn nahm Patrick ab 1270 am Kreuzzug des Prinzen Eduard teil. Nach dem Tod seines Bruders, der 1279 ohne Nachkommen gestorben war, erbte er die Herrschaft Kidwelly, eine Herrschaft der Welsh Marches, Ogmore Castle in Glamorgan sowie weitere Ländereien in England. Er setzte den von seinem Bruder begonnenen Ausbau von Kidwelly Castle fort und stellte 1282 für den zweiten Feldzug König Eduards I. zur Eroberung von Wales Truppen.