Transportminister Edwina Hart har försvarat sitt beslut att investera i en ny motorväg söder om Newport.
ABP: s Matthew Kennerley sade att hans firma skulle förlora mark och en docka skulle ha upp till 60% av fartyg som inte kan använda den.
En talesman för den walesiska regeringen sade: "Vi är engagerade i detta ambitiösa infrastrukturprojekt."
Hart har sagt att hon förväntar sig att möta en rättslig utmaning efter att ha meddelat klartecken för den nya vägen, att köra mellan Junctions 23 och 29 av M4 och att inkludera en ny bro söder om Newport.
Projektet kommer att vara klart våren 2022 och vara det största investeringsprogram som den walesiska regeringen någonsin har tillkännagett.
Vissa anser att svaret på den förlamande trafikstockningen i södra Wales är att den har vunnit stöd från företagsgruppen CBI Wales.
Kansler George Osborne har kallat reliefvägen ett av de viktigaste vägsystemen i Storbritannien och brittiska ministrar har sedan avtalat om att walesiska ministrar kan låna pengar som behövs för att finansiera programmet.
Miljön och vissa företagsgrupper har kritiserat den föreslagna rutten som onödigt skadlig och kostsam.
Kennerley, hamnchef för ABP i södra Wales, berättade för BBC-programmet Wales at Work att den föreslagna vägen skulle påverka sysselsättningen och skulle kunna göra företaget mindre benägna att investera i byggarbetsplatsen i framtiden.
Han sade: "Vi tycker inte att det är någon bra idé att sätta den nya rutten genom centrum av Wales viktigaste allmänna lasthamn.
"Vi anser att det finns en alternativ väg och vi presenterade den under hela samrådsprocessen som en rutt något längre norrut.
"Det skulle fortfarande ha en inverkan på hamnen, men i mycket mindre utsträckning eftersom det inte skulle vara bisecting mycket viktiga kajområden.
"Så som det ser ut för närvarande skulle konsekvenserna för hamnen vara mycket allvarliga."
Kennerley sade att eftersom han förstår planerna skulle upp till 1 000 meter (3 000 meter) kaj norr om den föreslagna nya motorvägsbron ha höjdbegränsningar på upp till 60 procent av de fartyg som för närvarande använder den.
Den walesiska församlingens tvärpartiella miljöutskott säger att det har "grundat oro" över Harts tillkännagivande, medan Plaid Cymru har dragit sig ur budgetsamtalen med walesiska ministrar i protest.
Motståndare har kritiserat planen på grund av dess miljöpåverkan och en grupp har kallat den ett "miljarder pund misstag."
Tre rutter övervägdes innan Hart fattade sitt beslut. De andra två var längre norrut.
En fjärde, den så kallade blå rutten, en uppgradering av A48 Newport Southern Distributor Road (SDR) och den tidigare stålverksvägen, föreslogs under samrådet, men avfärdades som en som inte på ett rimligt sätt kunde uppnå målen att minska trafikstockningarna.
Den walesiska regeringen tillade: " M4-projektet är av avgörande betydelse för det ekonomiska välståndet i landet som helhet.
"Tidigare kunde vi inte gå vidare med systemet eftersom det helt enkelt var oöverkomligt - men tack vare de nya lånebefogenheter vi har säkrat kan vi nu gå vidare med detta och andra viktiga system."
En ny M4-väg på 1 miljard pund genom Newports hamn skulle kunna äventyra arbetstillfällen och framtida investeringar på platsen, säger Associated British Ports (ABP).