班农于1953年11月出生于维吉尼亚州诺福克市的一个工人家庭。他曾经形容他的家庭是“蓝领、爱尔兰天主教徒、肯尼迪派、支持民主党和工会”。班农在维吉尼亚理工大学学习城市事务专业。根据《波士顿环球报》的报导，他暑假在老家里士满的一家废品站工作。班农在乔治城大学攻读硕士学位，并最终在哈佛大学取得工商管理硕士学位。
大学毕业后.班农在1970年代末和1980年代初曾在海军服役七年，曾在太平洋舰队的驱逐舰佛瑞斯塔号（USS Paul F. Foster, DD-964）上服役任水面战军官