可能性としては、ルドマンが人々の記憶を消し去ったからでは・・・
（彼は、ＰＳ２では単なる一般人ではなく奴を閉じ込める特殊能力があるので、全く不可能ではないとは思います）

ルドマンに特殊能力があるのであれば、もう１つの特殊能力があるという説は、私もまったくありえない話ではないと思います（現に、人の心を読む能力と予知能力という２つの能力をお持ちの方がいらっしゃいますし）。
それでいくと、「異常な光景を見えなくする（通常と同じ光景を見せる）」、言い換えれば「幻影を見せる」という能力があるとも考えられます。

確か、町の人は「地響きがしていた」というような発言をしていました（うろ覚えですが）ので、「記憶が無い」よりは「見えなかった」の方がありえるかと思います。

特殊能力についてはあり得る線だと思いますのでここでは特に言及せず、ここで一つ別の線を提示したいと思います。
「見た目には近い町と塔だが、実際はそれなりに距離があった」という見方はどうでしょう。

DQ5の世界には昼夜の概念が存在します。そして昼と夜はフィールド上を一定距離歩く事で交互に移り変わります。
具体的にどの程度歩けば変わるのかは忘れましたが、ここでは仮に100歩としましょう。
一日の半分を12時間とすれば、1時間当たりの歩数は約8歩。
ここから、フィールドマップの画面上の縮尺が小さい事がうかがえます。
更に計算すると、歩く速度を時速4km/hとすれば、8歩が4kmという事で1歩当たりの距離はおよそ500mとなります。
あれ、そんなに離れてないか？(笑) 100歩とした昼夜逆転のサイクルがもっと短ければ、マップの縮尺ももっと小さくなる訳ですが。

まあ、この考えが正しくある為にはDQ5の世界というか惑星の自転がどうなってるのかとか、
或いは惑星の大きさとかいう問題にまで突っ込んでいかなきゃならなくなるかもしれないので
正直な所、自信を持って推せる様なものではないです。

が、1つ忘れてはならない事は、「山」も1つのマスの中に入っているという事実です。
そしてサラボナに隣接している「ように見える」塔が、町中から直接行き来の出来る
ポートセルミの灯台とは違って一旦フィールドを経由しなければならない事。
更に戦闘の支度をしてくると行って町へ戻ったルドマンが(人々の記憶を消し去ったという説はここではないものとして)
実際に支度を終えた頃には全てが片付いていたという事。
これらの事実は町と塔との間に短くない距離がある事を如実に物語っている様に思えてなりません。

＞実際はそれなりに距離があった　見えなかった
これらに関しては、私は否定的です。
まず、町と塔はフィールドでも完全に隣接しています。１歩で到達できる距離なので、離れているとは考えにくいです。
ＰＳ２版では、奴が塔に向かって歩いてくるときに、ルドマン宅前からのアングルがあって、奴は完全に見えています。
よって、離れていた＋見えなかった　と考えるのは難しいと思います。

ただ、「地響きがしていた」の続きで「山のようなものが歩いていたようだ」的な発言もあったし、ルドマン宅のメイドさんは戦闘は把握していたので、「記憶を消した」も疑わしくなったかもしれないです・・・