Na první pohled může hřib hořčák některým lidem připomínat jiné houby, jako je hřib hnědý, hřib smrkový nebo hřib dubový. Na rozdíl od jejich olivově žlutých rourek má ovšem tuto oblast bělavě narůžovělou až růžovou. Jeho třeň potom bývá tmavě síťovaný a obsahuje velká protáhlá oka. Kromě toho se liší i chuťově, protože je výrazně hořký.