faceは「直面する」という意味で使用されています。「ちゃんと直面しようよ」と言うことで、あまり認めなくはないが、事実は事実として嫌なことでもあえて直視しよう、というフレーズになります。it を fact に変えて Let’s face facts. と言うこともできます。
＜SKIT＞
A: Next year things may improve.
B: Let’s face it. We have to close some of our stores.
　　A：来年になったら、事がうまく行くかもしれないわ。
　　B：正直に認めましょう。店を何件か閉めなければ。
『英会話お決まり表現160』
（マクミラン・ランゲージハウス　浦島久、クライド・ダブンポート共著）より