明治７年５月２７日夜半過ぎに、頼りにしていた実兄 川原町の山中伝四郎（香斎）は静かに息を引き取った。後日（明治２１年）三右衛門が藍綬褒章を賜った際、息子 甲太郎に語っている。「私が今日の栄誉は、兄のお陰じゃ。私が波止場で苦しんでいる最中 権五郎さんに死なれた時は、私の一生を通じて一番悲しいことじゃった。」しみじみ述懐したという。
現 稲葉邸より東 開栄橋を望む
波止場工事の資金繰りは厳しい状態が続いた。新丁の請負師 長谷川庄兵衛は、押しかける人負をなだめすかす日々が続き、三右衛門も稲葉家伝来の書画骨董品を売りに出した。これが逆効果になり悪い噂が流れ、工事の妨害となっていった。
明治末期
かかる困難の中、６月１０日未明に おたかは次男乙次郎を生んだ。母親の気苦労と、子供も病弱で乳が少しも出なくなり、人工栄養に頼らなければならなかった。８月末、残暑の中、おたかは乙次郎を抱いて 沖ノ島の子安観音へ乳貰いと祈祷を受けに出かけた。
現在の沖ノ島観音寺
子安観音は現三滝通り沿いにあり、郵便局の西側にあった（現在の沖ノ島観音寺である）。道路に面して地蔵尊が祭ってあり、奥には観世音菩薩を本尊とした小さなお堂があって若く美しい尼さんが住んでいた。おたかは中納屋の自宅を出て、納屋小学校（現 なやプラザ）の南側を西へ、現在（昭和３１年当時）の東駅前通りと相生橋とが交差する十字路の処へ出て、今は諏訪新道（本町通り）となっている細い耕作道を真っ直ぐ西へ上って沖の島へ行った。当時諏訪新道は両側が田圃で、今の四日市警察署前（本町プラザ）、新丁へ入る角には肥溜めの赤甕が三つも四つも並んでいた。
観音寺入り口
子安観音で祈祷をして貰ったおたかは、帰路 新丁を左へ折れ不動寺横から得願寺で墓参を済ませた。下新町から新丁を経て丸池へむずかる乙次郎を抱いてさしかかると、十二三才の腕白坊主らが、「♪ 稲葉もろとも長谷川ともに 浜に立つのは二人連れ」と囃子歌を歌いながらぞろぞろついて来る。果ては路上の石を拾って投げつける始末、おたかは新丁の船頭利助の処へ逃げ込んだ。
「あの時程 くやしいことはなかったよ。」後年 おたかは、女中のお美代にしみじみと話したと伝えられている。