Mejor coloquemos doble validación, algo como:

$_PORT = (isset( $_SERVER['SERVER_PORT'] ) && $_SERVER['SERVER_PORT'] != '80') ? ':' . $_SERVER['SERVER_PORT'] : defined('SERVER_PORT') ? ':' . SERVER_PORT : '';