タイトルしたい（html_title）

html_title = "ウェブサイトのタイトル"
html_title = f"{project} v{version}"  # 「document」を削除

HTMLドキュメントの<title>を設定できます。 この値は、それぞれのページ内の<title>タグにも追加され、サイドバーの上にも表示されます。 デフォルト値は {<project>} v{<revision>} document です。

短いタイトルしたい（html_short_title）

html_title = "ウェブサイトの正式タイトル（長め）"
html_short_title = "ウェブサイトの省略タイトル（略称など）"

短いタイトルを追加できます。 定義されていない場合はhtml_titleの値が使われます。

注釈

テーマによっては、サイドバー表示に反映されないかもしれません。 とりあえずsphinx_book_themeでは表示されなかったので、調べたいと思っています。