All'inizio del 1898 Kilpin lasciò Torino e si stabilì definitivamente a Milano con il collega inglese Samuel Richard Davies; qui prese a frequentare assiduamente l'American Bar facendo amicizia con alcuni inglesi residenti nella città, tra cui Alfred Edwards. Nel dicembre 1899 insieme con un gruppo di italiani ex soci di una società sportiva chiamata , costituì il "Milan Football and Cricket Club", di cui Alfred Edwards fu il primo presidente, mentre Kilpin, che era il più esperto, ricoprì il ruolo di giocatore e manager; fu il primo allenatore, primo capitano e il primo grande giocatore del club milanese; tuttavia per parte della prima stagione agonistica lasciò il compito di capitano al più vecchio compagno di squadra David Allison. Guidò il Milan alla conquista del suo primo scudetto, nel 1901. Come suo solito, giocava indifferentemente da terzino e da mediano.