be downは準備できたという意味の俗語です。Partyは名詞にもなり、動詞にもなりえますが、動詞として使われた場合は面白く遊ぶという意味があります。したがってここでのbe down to partyは面白く遊ぶ準備ができたという意味となります。