Relationsdramat, skrivet och regisserat av Jolie, öppnade årets American Film Institute Film Festival i LA.
Hollywood Reporter sa att det var "alltför länge" och led av "stasis och dramatisk platthet".
Variety tillade att det "det lämnar hjärtat och sinnet svalt unstirred".
Det sammanfattade filmen som "ett underbart olyckligt 70-tal amerikanskt par som försöker fly sina demoner under en längre vistelse på Maltas kust".
Screen Daily sa att det var "en intim konsthus film för en stor studio" och att det var "säker på att vinna uppmärksamhet på grund av den marquee attraktion" av sina stjärnor.
Det är den första filmen där de har spelat ihop sedan 2005 och är Mr & Mrs Smith och är Jolies tredje film som regissör, efter Unbreaked (2014) och In The Land of Blood and Honey (2011).
Screen Daily sade Jolie's "åtagande till allvarliga teman är underskuren av en stel, överblåst stil".
"Det spelar ingen roll vilken typ av historia hon försöker berätta, hon bär ofta ner på det så hårt att filmen inte har mycket utrymme att andas," tillade det.
The Wrap kallade filmen "ett soporific drama som tippar på parodi", tillägger: "Angelina Jolie Pitt rykte som en kompetent filmskapare kommer inte att helt ogjort av hennes tredje regiella ansträngningar men inte heller kommer att förbättras."
Det sades att det var "svårt nog att se dessa två begåvade skådespelare spela lösa skott som inte har någon kemi med varandra, men ansträngningarna verkar särskilt meningslösa när vi lär oss roten till deras problem".
Filmen släpps i USA den 13 november och i Storbritannien den 11 december.
Kritiker har gett Angelina Jolie's By The Sea ett ljummet mottagande där hon tillsammans med maken Brad Pitt kallar det ett "vanity project".