稲葉三右衛門は、何人とも手をつけることのなかった難工事を、個人で設計から見積り、湊を生業としている人々への説得等を行い、明治４年１月１３日、田中武右衛門（後に離脱）と共に県庁を訪れ、岩村定高参事に面会事業の説明をしているが、素人がやる事業ではないと、冷たい返事が返ってきた。
参事 岩村定高の背後には船会社の黒川彦右衛門らがいる。彼らは、三右衛門が波止場を築いて埠頭を独占し、港を私物扱いにされては困ると考えていた。
明治７年元旦、「新年おめでとう。去年はいろいろ骨折りをかけて済まなんだ。今年は波止場工事にかかる。一層苦労を掛けるが四日市の為と思うて頑張ってほしい。そこで、新年の席に町の名前を付けたいと思う。北側の寅高入新田は、ご先祖様のおかげやから“稲葉町”、南側の己高入新田は、横浜の歓楽街高島町と家内の“おたか”の名を記念して“高砂町”、橋の名前に、新浜橋は 橋が港を繁盛させるよう“開栄橋”、掘割に新しく架けた新大橋は繁華街へ行く目出度い橋やから、高砂町の名にふさわしく“蓬莱橋”と付けたい。」
しかし、波止場工事の資金繰りは厳しい状態が続いた。