St James's Palace
لم يخن جورج زوجته ولم يتخذ غيرها عشيقة - على النقيض من كل من والده وجدّه -، بل عاش الزوجان حياة سعيدة معاً، وأنجبا تسعة أبناء وست بنات. اشترى جورج عام 1762 منزل باكينغهام (الذي أصبح قصر باكنغهام في الوقت الحاضر) حتى يكون ملاذاً له ولعائلته، كما كان يسكن في قصر ويندسور وقصر كيو، بينما بات قصر سانت جيمس للاستعمال الرسمي فقط. لم يكن جورج يسافر كثيراً، وقضى جُلّ حياته تقريباً في جنوب إنجلترا. قضى جورج وعائلته العطلات في وايمث في تسعينيات القرن الثامن عشر، جاعلاً منه أحد أول المنتجعات الشاطئية في إنجلترا.