Здравствуйте.
В первую очередь вам надо понять свои чувства по этой ситуации. Ваш муж говорит о том, что он не хочет портить вам жизнь. А он портит? Как вы сами считаете?
Очень часто мужчины возлагают на себя большие требования по обеспечению семьи, и проблемы с этим переходят в неуверенность, в самобичивание. Не зная подробностей очень сложно сказать наверняка, но мужчины очень часто нуждаются от женщин подтверждения того, что они справляются, что они молодцы, что женщина любит мужчину безусловно и готова пройти с ним эти трудности. Не получая этого, мужчина начинает себя критиковать, будто бы видеть "холодность" в отношениях, будто бы он не заслуживает счастья. Некий тревожный тип привязанности.
Конечно, в идеале лучше сходить к семейному психологу. Но так же, в случае если вы хотите сохранить брак, и просто не понимаете, что движет мужем, то советую прочитать книгу "Обними меня крепче". Можно вместе с мужем. Она сильно расширяет видение и даёт понимание процессов, которые проходят между людьми в семье.