Hans hovedvirksomhet var som jernbanearkitekt. I årene fra 1861 til 1892 var han ansatt ved Indenrigsministeriets kontroll med statsbanene og sto for oppføringen av alle stasjonsbygningene på de jysk-fynske baneanlegg (bortsett fra strekningen Aarhus-Randers og en rekke jernbanegårder tegnet av Thomas Arboe) og senere portalene ved Masnedsundbroen, samt de nye stasjonsbygningene i Lyngby og Helsingør (begge sammen med Heinrich Wenck) samt bygningene på strekningerne Slagelse-Næstved og Dalmose-Skælskør. Ved de fleste av disse bygningene tok Holsøe utgangspunkt i med Herholdts københavnske banegård (Københavns andre banegård 1863-64) og anvendte murstein som hovedmateriale.