明治７年９月、四面楚歌の中 県の鳥山権参事から呼び出しがかかった。鳥山は岩村参事とは異なり、三右衛門の事業に理解があった。
「稲葉さん、云い難い話だが、港が現状のままでは困る、相当の献金をしても良いから港の改修を急いで欲しいと廻漕汽船会社から話が来ている。個人の力では無理な工事、官の手で進めてはどうかと。」
「工事が遅れて申し訳ありません。埋立地の１万１千坪も護岸工事の一部を残すだけで九分通り竣工しました。埋立地の内、官有地の土地だけでも払い下げ頂ければ、その資金で波止場工事に掛れるのですが。」
「そのお考えは分かります。しかし、築港工事も済まないのに土地だけ払い下げるのはどうか、という意見もあるので・・・」
四日市へ戻った三右衛門は、その夜、おたかに話した。
「私の今までの考えが甘かった。おたかにさへ異存がなければ、土地も倉庫も、持ち船もすべて手放し、裸一貫になって工事に打ち込む、今日限り戸長もやめるし、店も閉める。」この決断は、参事鳥山を感心させた。
悪いことは続く。その年の１０月３０日、内務省より土木賦課金 築港税として４,５０００円の請求が来た。続いて既成工事についての厳格な通達が届く、明治６年３月起工して１年９カ月、すべてのものが一時中断された形となり、それより明治１３年まで苦闘の６年間が続いた。