麻城市夫子河镇土库村与武汉市新洲区沙河村交界处，处于麻城至黄州府的驿道旁。相传孔子游学麻城在此回车，故名。明代天顺年间，夫子河官员周旻、周㫤、周晟三兄弟从山东曲阜奉回孔子圣像，供奉于当地象棋山寺——龙泉寺内，这就是夫子河圣庙的雏形。1793年，黄冈籍在任知府陶国干捐地基五亩并捐银两若干，与麻城籍在山西垣曲任知县的望花山人程琮及黄冈、麻城两县绅耆、土商等社会贤达等，在夫子河与沙河（今属武汉市新洲区）交界处的麻城一侧（今属麻城市夫子河镇土库村）建造了一座书院，并且根据孔夫子在夫子河回车的传说，取名“回车书院”。