元配冯氏罹难，后续娶曹氏。胡铁花亦协助督办团练，以抵抗太平军。1868年入上海龙门书院，师从刘熙载。而后五次参加乡试皆未中举人，遂放弃科举之途，前往中国东北宁古塔，结识宁古塔副都容山和宁古塔边务钦差大臣吴大澂，后受吴大澂推荐，走上仕途，担任五常厅抚民同知，因丁忧守丧回乡。后追随吴大澂，先后前往海南、协助治理黄河，及办理江苏税务。此一期间，续娶冯顺弟，即胡适生母。1891年，奉调台湾，担任「全台营务处总巡」，考察台湾防务，随后又担任台南盐务总局提调兼办安嘉总馆，办理台南盐务。期间将家眷接至台湾，胡适便