柚子系は牛蒡根だから根張りがよくなるまで結構時間がかかるんですよね。惜しいですがちゃんと実がつくまで三回くらい結実を見送り、花も実も全部落としたほうがいいかも。幹が細いうち葉っぱが落ちるのは寒いからなのかもしれないので、小さいうちは12〜3月まで寒冷紗や日除けシートで幹をぐるぐる巻いて防寒してあげると春先の新芽が早く動くので葉が増えると思いますよ。うちは北関東平野部で八朔は地植えして実がつくまで６年くらいかかりました。

気休め程度のコメントですが
うちは実をつけた鉢植え柚子を地植えしましたが木と葉は育つのに何年も実をつけなくて5年くらい？諦めた頃から毎年取りきれないくらいの実をつけるようになりました。

うちのは枝もそのままです。花が咲けば実がなると思います♪今年こそ実がつくと思いますよ。