1913年建成，以往是九广铁路重要车站之一。但由于九铁于1982至84年引进电气化火车，新大埔墟火车站于1983年启用，因此旧大埔墟火车站于同年4月6日关闭。其后该火车站原址于1984年被列为法定古蹟，并改建成博物馆，相关工程包括在车站周边加建路轨连接东铁线（以便将退役车卡经铁路运送至本馆入藏，现时已经被拆除），并对原车站建筑进行修复及翻新工作。1986年12月20日由区域市政局主席张人龙、九广铁路公司主席霍士杰、区域市政总署署长孙明扬等主持，21日起开放予市民参观。博物馆专门介绍九广铁路历史。由于建筑