私も歩くペースはゆっくりですが１〜２時間休まずに歩きます。
自分で無理を感じない（身体に負担をかけていない）ペースであれば休まなくても良いのではないでしょうか？
但し、水は歩きながらでもこまめに摂る事と２時間間隔程度で行動食を採る事は長く歩くためには必要だと思います。

　自分に合ったコンスタントなペースで歩くのであれば、遅くても速くてもどちらでもいいと思いますし、休憩をとるとらないも状況次第でいいと思います。
　ただし、「魔の１４時」とか「魔の１１時」という言葉もあるように、疲労がたまって注意力が衰える時間帯もありますので、適宜休憩をとって歩かれるのも良いかと思います。
　なお、他の人と一緒に歩く場合は、一番遅い人に合わせてあげてください。
　また、危険個所で無理に速く歩いて落石を起こしたり、追い抜き時やすれ違い時に人にぶつかったりすることがないようにしたいものです。

休憩なしで行けるのであればどんどん行って構わないのではないでしょうか。私も休まない方なので抜く方が多いですが大体気が付いて道を空けてくれるのでお礼を述べて行かせてもらいます。トレランの時はそうもいかないのでかなり後ろから声をかけて自分が谷側を通過するようにして、「右から抜きます」、とか「左から抜きます」とか言って通過します。
ただし大勢の人を抜くのもイヤなのでトレランの時は登山者が登らない時間にヘッ電点けて走り始めます。
そうすれば自分がトップなので誰にも気兼ねなくサクサク行けます。
逆にわざと抜かない場合があります。下りで落石を落としそうに歩いている人の前には絶対出ません。ある程度歩いて落石の危険が無くなったところで抜かせてもらいます。
これはトレランのレースの時に上から石を落とされて大変怖い思いをした経験からです。最近落石のレコもアップされてますが本当に怖いです。

　山で歩くのは平地と違ってかなりエネルギーを使い、持続可能なペースはその人の心肺能力、持久力、場合によっては精神力にも依存しますので、速い人、遅い人いろいろあります。これは「個人差」ですので、速いのが悪いということはないと思います。

　ただし、追い越す時は無理に追い越すのではなく、相手が道を譲ってくれるまで待った方が心地いいですね。まあ、登りは体力的に苦しいので、普通の登山者なら休憩の口実にして喜んで足を止めて譲ってくれると思います。私の場合も登り／下りとも追い越すことの方が圧倒的に多いですが、基本的に相手が道を譲ってくれるまでは無理に追い越すことはしません。

　私の場合、日帰りの場合なら3〜4時間は休憩なしで歩きますので(逆にいえば休憩が不要なペースで歩いてます)、たいていの場合は登山口から山頂まで休憩なしで歩いていますし、北や南アルプスでも休憩はほとんど１回しかとりませんが、特に不都合はありません。人間は心拍数の上下があると疲労を感じるので、逆に歩き続けて心拍数を高く保ったままの方が(高すぎない範囲内ですが)、トータルでは疲労は少ないと思います。

JIN3103さん初めまして。

富士山吉田口5合目から吉田口山頂を2時間台はかなり早ですね、羨ましいです。

登るペースが速いというのはいい事だと思います。安全度も高まります。聞いた話ではヨーロッパアルプスでは立ち止まり呼吸を整える程度の休憩らしいです。

無理をしない範囲でならよいと思います。私は12月の伊吹山で休憩無しをやったら、下山時に膝の裏が痛くなり、55才の自分には合わない登山だと思いました。

私はよく抜かれますが、抜かれたからといって登山の邪魔をされたと思ったことはないです。ただ抜くときだけではないですが、やはりマナーが必要かと思います。快く避けてくれたとのことなので、JIN3103さんはマナーもしっかりしていると思います。

場所により、例えば西穂から奥穂の縦走路とかで、無理に抜いたり、急いで歩いて落石を起こしたりとかはNGです。富士山とは道の危険度が全然ちがいますから当然ですけど。なお槍の穂先など渋滞しているからとかで抜くのもNGだと思います。