I 1961 overtalte s redaktør Jack Murphy å overtale Barron Hilton om å flytte Chargers fra Los Angeles til San Diego. Kemp ledet laget til 12–2 i sesongen og vant igjen Western Divison-tittelen. Han var igjen nummer to i pasningsyards, denne gangen bak George Blanda. I omkampen mot Oilers i AFL Championship-kampen tapte Chargers igjen, 10–3, hvor deres tre poeng kom på et field goal i fjerde kvarter.