McCarthy sinh ra ở thành phố Bakersfield, California. Ông theo học tại Đại học Bang California tại Bakersfield và tham gia làm lính cứu hỏa trong thời gian học đại học. Ông từng là chủ tịch của tổ chức Thanh niên Cộng hòa tại California và Liên đoàn Thanh niên Cộng hòa Quốc gia, một tổ chức thanh niên của Đảng Cộng hòa. Ông là dân biểu trong Hạ viện Tiểu bang California từ năm 2002 đến năm 2006, và là lãnh đạo phe thiểu số từ năm 2004 đến năm 2006. Năm 2006, ông được bầu vào Quốc hội Hoa Kỳ. McCarthy được bầu vào vị trí Phó Chánh văn phòng Đảng Cộng hòa từ năm 2009 đến năm 2011. Khi đảng Cộng hòa nắm quyền kiểm soát Hạ viện vào năm 2011, ông đã trở thành người nắm quyền đa số từ năm 2011 đến tháng 8 năm 2014, khi ông được bầu làm lãnh đạo phe đa số để thay thế cho Hạ nghị sĩ Eric Cantor sắp mãn nhiệm.