「frankly」はくだけた言葉ではありません！フォーマルな場面でも使用できます。どちらもあらゆる場面でわりと頻繁に使われていますし、スラング的な表現でもありません。
例: Honestly, I like that one better.（正直、そっちの方が好きです。）
例: Honestly, this could be much better.（正直言って、これはもっといいかもしれない。）
例: Frankly, he tends to get on my nerves.（率直に言って、彼は私の神経を逆なでする傾向があります。）
例: Well, frankly, I don't like spending time with her.（ああ、正直言って、彼女と一緒に過ごすのは好きじゃないんだ。）