Larsens foreldre var Eva Flyvholm Olsen og Alfred Larsen (lærer). Familien stammet egentlig fra Fyn, og Kim ble døpt i Valgmenighedskirken i Kerteminde, der morfaren hans var degn. Kim har også en eldre bror, Tore. Foreldrenes ekteskap varte til Kim var omtrent fem år gammel. Moren tok med ungene og flyttet inn i en liten leilighet i Mågevej i København. Senere begynte Kim på Frederikssundsvejens Skole.