工事に取り掛かるや、準備万端で始まった長谷川正兵衛の仕事は早かった。数人の人夫を乗せた数艘の浚渫船で底の土砂を搔きあげては積み上げていく。そこでは根固めの杭打ち作業が行われている。三本の丸太で組まれた櫓（やぐら）に綱を通し、三カ所から引っ張ってはドスンとおとす。“ヨイトヨヤマカ、ヨイトマカセ”と、のどかな杭打ち唄があちこちから聞こえていた。
写真集四日市の１００年より（明治７年頃）
他人の成功を妬むのは人の常、まして営業上の利害得失が絡んでいればなおさらである。驚異的な港頭工事の進行を見て妨害しようとする動きが出るのも当然であった。どんなデマが飛んだのか・・・
「許可の指令もないのに、県庁を踏みつけてあんな横着な工事をやっている稲葉（三右衛門）も田中（武右衛門）も長谷川（正兵衛）も、今に数珠繋ぎになって監獄へ打ち込まれ、臭い飯を喰わねばなるまい。」
「三右衛門や武右衛門は波戸場を煮汁にして、浜洲の埋め立てだけをやり一儲けする考えだから、波止場も燈明台も良くなる気遣いはない。初めからやる気もないのに、御上を騙しているのだ。」
「県庁では開墾地を取り上げてしまう方針のようだから、せっかく埋め立てた土地も官に没収されて、入費損の元の木阿弥になるのが落ちだろう。こんな落とし穴に巻き添えを喰わされた武右衛門が気の毒だ。今に三右衛門も武右衛門も庄兵衛も屋根にぺンペン草を生やすだろう。」
明治末期の四日市湊
そして、回漕汽船側は、稲葉と田中を切り離す策に出た。
「のう稲葉さん、家内のおひさ（回漕会社側に同調する、田中武兵衛の娘）が度々本家に呼ばれて、今日限り手を引け。今後一切、波止場工事には関係するな。」と云われておりますんじゃ。「埋め立てをして橋を二つ架ける（蓬莱橋と相生橋？）。それ迄は費用が出せても、お金のかかるのはそれからじゃ。」
開栄橋西詰より 正面に蓬莱橋、右に末広橋が見える。（明治末期？）
2021年4月14日のブログ記事一覧-花の四日市スワマエ商店街 (goo.ne.jp)
「先日も会所（戸長）の用で県庁へ行ったら、『これから波止場と燈明台の工事に掛かるが、今後 莫大な資金が必要となる。竜巻などの災害に負うたらえらいことじゃ。そんな危ない橋を渡らんでも、徳田屋は回漕会社の荷を扱うだけでやっていける。持ち船の少ない三菱に味方して回漕会社を敵に回すのは損じゃ。』とこう云われました・・・。」両人の間には沈黙が続いた。
出来たばかりの四日市湊
2021年4月21日のブログ記事一覧-花の四日市スワマエ商店街 (goo.ne.jp)
後日、三右衛門はこう語っている。
「徳田屋さんから話を聞いた時は本当に吃驚した。が、暫く気を静めて話を聞いていると、怒りも恨みも忘れ去って、こんな正直な仲間を引っ張り込んだばかりに、苦労を掛けたり心配させたりして誠に済まないという自責の念で胸が一杯になりました。」 郷土秘話 港の出来るまで 稲葉三右衛門築港史 より