伊藤祐一郎の子に生まれ、陸軍航空本部長・第1師団長や留守航空兵団司令官を務めた堀丈夫陸軍中将の養子となる。
堀荣三的生父是伊藤佑一郎，陆军航空本部长暨第一师团长暨留守航空兵团司令官陆军中将堀丈夫收其为养子。