左上に燈台が立つ
明治６年３月１２日（旧暦）午前１０時より 巳高入新田（現：相生橋東詰）の浜洲で地鎮祭が行われましたが、ここには県令参事や廻船問屋の人々の姿はありませんでした。岩村県令は、港修築事業は個人が行うことではないという理由で、また、従来からあった廻船問屋は、新しく進出してきた三菱汽船と組む稲葉三右衛門に反していたからでした。起工式の後、工事は順調に進められましたが、突き出し波止場の工事が難航、莫大な費用が掛かるようになったため、半年で田中武右衛門が離脱しました。ここに明治６年、稲葉三右衛門らが提出した図面があります。約２００メートル突出した堤防は直線になっていますが、
下の明治９年の図では、県の指導があったためか堤防の石積みが湾曲した形になっています。潮が干潮になった時をみて地固めと石積みを行う堤防の工事は、予想以上の時間と費用を擁しました。
石原佳樹著 四日市港ができるまで より
明治７年３月、一人で工事を続けてきた三右衛門は、資金が底を尽いて工事を中断します。そして資金集めに翻弄します。明治６年１２月には社員になることを前提に農産会社に埋立て地の地券（土地の権利書のようなもの）を渡していますが、破談になっています。また、小野組と契約を結びましたが、小野組は経営難のため、その後に破産しています。この時、三右衛門は８０００円を借用していて、この借金は県が預かることとなりました。
こうして行き詰った築港事業は、県が引きつぎます。
そして明治８年、三右衛門は美濃の国 高須村の実兄 吉田耕平を頼って、稲場町と高砂町を担保に１０万円を借りようとしています。結果は分かりませんが、県は認めていません。この時点では、三右衛門の土地であることが認められていなかった為でしょう。