Koch var en høyt begavet mann med et usedvanlig matematisk og stereometrisk talent og eide den sjeldne egenskap å kunne forestille seg sammensatte former i plane utfoldninger. Hans kjærlighet til barn og dyr fruktbargjorde på en elskelig og eiendommelig måte dette talent gjennom et mangeårig arbeide med leketøy (Syvklodsspillet, samt flere mosaikkspil og sammenklistringsark med dyr og fugler, juleark og meget annet). Fra sin farfar, hoffbyggmester Jørgen Hansen Koch, hadde han arvet en stor samling danske arkitekturtegninger, som han forøket og bevarte med tanke på engang å stifte et dansk arkitekturmuseum (nå den Kochske Samling, tilhørende Undervisningsministeriet, deponert i Kunstakademiets samling av arkitekturtegninger).