En 1953, el internacional galés firmó un contrato con el Birmingham City, en aquel entonces dirigido por Bob Brocklebank. Los «Blues» finalizaron en la séptima plaza de la "Second Division" en la . Al , se proclamaron campeones de la categoría tras una campaña muy igualada. Tanto fue así, que obtuvieron una mejor posición que el segundo y tercer clasificado, el Luton Town y el Rotherham United, respectivamente, únicamente por la diferencia de goles. Kinsey anotó diecisiete goles en cuarenta partidos en la , histórica para el club birminghamés, incluyendo un hat-trick en un partido contra el Everton, disputado en St Andrew's en Boxing Day. Esa temporada, el Birmingham consiguió finalizar sexto en la "First Division", lo que supuso el mejor resultado para el equipo en su historia, así como llegar a la final de la FA Cup, celebrada en Wembley. Anotó el gol del empate en el minuto 15 de partido, pero el Manchester City acabó haciéndose con el título tras vencer por tres tantos a uno, a pesar de que su portero, Bert Trautmann, jugó los últimos minutos del encuentro con una grave lesión de cuello. El Birmingham quedó duodécimo en la y decimotercero en la . Kinsey anotó un total de 56 goles en 173 encuentros de liga y copa con el Birmingham City.