郁、王二人订婚，是爱情已瓜熟蒂落的见证，同时也激怒了远在北京的孙荃和郁达夫的大哥郁曼陀。杭州的订婚宴，郁达夫只请了二哥郁养吾一个亲人，其余的全是王映霞这边的亲朋好友。他之所以这样做，是因为二哥也刚娶了二夫人，想必他最能体谅自己的苦衷。
而至于将王映霞娶进门后是做妻还是妾的问题，郁达夫也接受了二哥的建议——“两头大”，即指在故乡有一个结发夫人，外面再有一个夫人。这在当时的社会十分普遍，也有利于他既不必抛弃孙荃，又能与心爱的王映霞厮守。
订婚完回到上海不久，郁达夫就连续接到孙荃和大哥的来信。孙荃大骂他无情无义，还以死威胁，这是他早就料到的。但见大哥信中那些刺耳的责备，他反而发火了，拿出了当初留学日本时的叛逆来。在北京亲人的极力反对声中，郁达夫于1928年初与王映霞正式结婚。他们原计划赴日本东京举行婚礼，行前向一些亲友发出了喜帖。后来因路费难以解决和政府要向郁达夫发难等问题，而临时取消日本之行，转到郊外匿居了一个多月，害得在日本接到宴请通知的亲朋们按时抵达酒席现场，却扑了个空。
1928年1月，郁达夫和王映霞在上海南京路东亚酒楼宴请宾客，宣布正式结婚，此时他三十二岁，她才二十岁。
婚后四个月，王二南来上海群治大学任教，在郝德路嘉禾里后弄1442号租了一幢洋房住下。这对新婚夫妇为了和王二南相邻，搬出民厚南里，租住在禾里后弄1476号的洋房里。房间面积不大，里面没有天井，家具都是租来的，一日三餐，也常到后弄的王映霞母亲家里吃，但是夫妇俩还是为有一个属于自己的小家而欣慰。
当爱情转变为婚姻，家庭所带来的负累渐渐让郁达夫烦躁起来。一贯随性放任的郁达夫喜欢独居，最不喜欢有个人整天在身边，虽然生活上得到无微不至的照顾，但是想做什么都有个牵绊，要去哪里都还要想着家里的妻儿。当初他在安庆与孙荃同居，就被这种家庭压抑感折磨得痛苦不堪，以致他不断地怀疑自己与孙荃的感情。而到了王映霞，他对她的爱情确实是真的，但还是不免感到烦闷。外加王映霞是一个追求安稳，需要强烈安全感的女人，出身大家族的她从小就养成了良好的生活习惯，婚后有了孩子，很快就成了个善于操持家务的好主妇。
可郁达夫偏偏要逃离王映霞苦心营造的“安宁”，各种恶习也随着时间的推移而渐渐复发，导致夫妇俩时常为喝酒抽烟的事发生争吵，性格上的问题也导致夫妻冲突不断。1929年8月，就在王映霞怀第二个孩子到八个月大时，郁达夫受聘到安徽大学任教。但他刚到安庆不久，就有朋友通知他当地政府正在布下陷阱暗算他。郁达夫马上登上船返回上海，安徽之行就此结束。
从安庆回来后，郁达夫的心情一直低迷，女儿静子的出生更是扰乱他的心绪。由于是一个女孩，再加上较爱哭闹，更惹来郁达夫对孩子的讨厌，一有哭声就对他们骂起来。王映霞对此很无奈，待静子满月后就送回杭州让母亲帮抚养，等静子再回上海时已是个三岁大的小姑娘了。可是，郁达夫一直都不喜欢静子，孩子刚回到身边不久，他又提出把女儿送给别人，王映霞只好把静子交给当地的一个保姆照看。不到两年，这女孩就因病夭折了。
1930年的夏天，二哥郁养吾来上海看望他们，兄弟二人相见愉快。可是，在接风宴上，由于王映霞干涉他们的酒量，郁达夫十分生气，一气之下他冲出家门，抛下二哥和妻子不知去向。
第二天，尴尬的王映霞强颜欢笑地送走二哥，心里有说不出的委屈和愤怒。而郁达夫却一声不响地去了宁波，因手表和钱包被偷后拍电报通知王映霞赶快送钱来。等王映霞当了几件值钱的首饰赶到宁波，却见郁达夫一副若无其事的样子，连一句道歉的话都没有。她失望极了，终于意识到郁达夫的放任随性不会因为感情或者婚姻的束缚而有所改变。而郁达夫有了这一次离家出走的经验后，他动不动就不知去向，借机恢复一下他没有牵绊的生活方式，满足一下幻想。无奈的王映霞如此感叹道：
许多事是不能有一个开头的。有了第一次，还会有第二次第三次，甚至于无数次。有时候为了饮酒，又有时为了别的鸡毛蒜皮之类事情，我只须看他眉头一皱，头一摇，知道他马上会犯出老毛病了。
郁达夫动辄离家的坏毛病给王映霞造成了深深的心灵创伤。她后来在回忆中说：“为了爱面子，在朋友面前我不敢声张出来，爱与恨的复杂的感情充满了我的心，我曾动过多次可怕的幻想；但等到他安然地又回到家中的时候，便立即消失了。”郁达夫每次走得并不远，隔夜或两三天后就会自己回来。面对这屡教不改的坏毛病，王映霞只好装作看不见，表面看似习以为常，其实内心忍住了诸多怨恨，日久天长后，累积成他们家庭矛盾的症结。
感情的裂痕，随着生活的摩擦日益增大，昔日的誓言都成了王映霞愤怒的原因，对他也丧失了热情。她不再管束郁达夫，不再关心他的身体健康，任由他是好是坏都不再为此伤心落泪，担忧焦虑。可是，最让她无法忍受的是郁达夫与孙荃的关系。
1931年3月2日，郁达夫被列入要抓捕的左联作家黑名单里。他未来得及通知家中已有九个月身孕的王映霞，就一路逃往富阳，躲了大半个月，还在孙荃的宅子里住了几日。这件事让王映霞火冒三丈，郁达夫回到上海的家，刚进门两人就大吵起来。在后来的《答辩书简》中王映霞很气愤地这样说：
……兽心易变，在婚后的第三年，当我怀着第三个孩子，已有九足月的时候，这位自私、自大的男人，竟会在深夜中窃取了我仅有的银行中五百元的存折，偷跑到他已分居了多年的他的女人身边，去同住了几日……等他住够了，玩够了，钱也花完了，于写成了一篇《钓台的春昼》，一首“曾因酒醉鞭名马，生怕情多累美人”的七律之后，也许是受了良心的责罚吧，才得意洋洋地，又逃回到当时我曾牺牲了一切安乐，而在苦苦地生活着的上海的贫民窟里来。
对重名分、爱面子的王映霞来说，“两头大”的婚姻关系让她的心灵蒙上了很深的阴影。而郁达夫在言谈举止之中，还有意无意地影射她是个“妾妇”，1932年郁达夫在杭州养病时写的《登杭州南高峰》的七律诗中，就将王映霞比作苏东坡的侍姬——朝云。而且，在郁母七十大寿时，王映霞在轮流拜寿过程中被孙荃抢去了风头而深感羞辱，觉得自己在这个家中没地位，如今又出了这种事，完全冲溃了王映霞的容忍度。
这次夫妻吵架十分剧烈，惊动了王家人。祖父王二南专程乘火车来上海做调解，郁达夫也写保证书称绝不再犯，还是不能让王映霞放心。她不再相信郁达夫，觉得他是一个很不负责任的人，难以从中找到安全感，于是她强烈要求掌握家庭经济，管理他的所有版税。
无可奈何之下，郁达夫只好请来律师徐式昌和北新书局的老板李小峰等人，当众写下一式三份的“版权赠予书”，律师、书局和王映霞各持一份，这才平息了这场家庭风波。然而，夫妻的感情裂痕却无法愈合，郁达夫觉得王映霞变了，不再是当年活泼善良的小姑娘，她变得世俗、爱钱、爱名分，竟把物质看得如此重要。签下那份冷冰冰的“版权赠予书”时，郁达夫的心头突然涌起一种凄凉的幻灭感。
“风雨茅庐”更起恩怨波澜
1933年初，郁达夫终于认同了王映霞的想法，全家移居杭州。
他们移居杭州的理由主要是：上海的物价高涨，而郁达夫创作数量日渐减少，在杭州家庭开支低上海许多。其二是孩子都长大了，在杭州进行教育花钱少，还能托熟人进个好学校。其三考虑到上海白色恐怖弥漫，对郁达夫的人身安全和家庭威胁巨大。而郁达夫也有了“一到了中年，也颇以没一个归宿为可虑，近来常常有求田问舍之心，在看书倦了之后，或夜半醒来，第二次再也睡不着的枕头上”的归隐心情，还有，他对上海的浮华厌倦透了，觉得“在一处羁住久了，精神上习惯上，自然会生出许多霉烂的斑点来”。
当年的4月25日，春雨霏霏，郁达夫一家登上了去往杭州的火车，“在不断的雨丝中，向西进发，野景正妍，除白桃花，菜花，棋盘花外，田野里只一片嫩绿，浅淡尚带鹅黄”。 窗外的江南春景让他们神清气爽，郁达夫有些高兴也有些自嘲，他在日记里说：“移家的心愿，早就有了……这很不容易成就的浅浅私愿，竟也猫猫虎虎地实现了。”
初到杭州，夫妻俩还是愉快的，虽然租房是“东倒西歪的三间旧屋，沙发是没有的，镜屏是没有的，红木家具，壁画纱灯一概没有”，但比起自己因贫穷，也享受不到“浮华的十里洋场”的半点文明的上海，这里的物价便宜，多少能减少王映霞因生活拮据而频频爆发的怒火。而且这里是历史悠久的古都，没事可以去走山玩水。平时在家里，吃点酒，配些精致的小菜，看看闲书，睡睡午觉，王映霞没事就去走门串户，大家清净自在。
然而，事情并非按他们想的那样发展，他们还没安定下来，就有政府官员、亲朋好友、媒体记者慕名而来，郁达夫家热闹非凡，各种邀请接连不断。王映霞日后回忆起这段往事时这样说：“从此，我们这个自以为还算安静的居处，不安又不静起来。比如，今天到了一个京剧名角，捧场的有我们的份；明日为某人接风或饯行，也有给我们的请帖；什么人的儿女满月，父母双寿，乃至小姨结婚等等，非要来接去喝酒不可。累得我们竟无半日闲暇……”王映霞不得不穿起旗袍革履，穿梭于上流社会的先生太太之间，其中不乏浙江省教育厅厅长许绍棣这样的高官，外加王映霞风华正茂，人情练达，更是让郁达夫夫妇与官场和文人之间的交往锦上添花。
在杭州，郁达夫经常受政府或者其他人邀请公费旅游，让他一时间甚至迷上了旅行和写游记。1934年的夏天，杭州闷热难耐，郁达夫和王映霞夫妇应友人汪静之等友人的邀请，决定到青岛海边避暑，夫妇俩带了大儿子郁飞去。在青岛住了四十多天后又转到北京，带未来过北京的王映霞四处逛，游览了故宫、北海、三贝子花园等名胜古迹。后又在已到北京工作的孙百刚的陪同下，来到北戴河海滨游玩。
就在度假过程中夫妻感情逐渐升温之时，杭州家里发来电报，说四儿子病重，让他们速归。焦急的王映霞心急似火，立刻带着大儿子一起赶回杭州，可是还是没法将小儿子救活。因这次四儿子的死，王映霞再次提出建造属于自己的房子，认为没有房子实在不方便。又一次陷入痛失爱子悲痛中的郁达夫也同意此想法。
一日，王映霞去拜见孙百刚，在孙家遇见了沈太素，闲聊时才得知由沈太素负责的浙江省立救济院有两块田产就在他们租房的旁边，只要拿三十亩山地来交换就行。得知王映霞有心买地，沈太素就热心地托人买来山地，相关的手续一并代劳，只需他们出买地的钱就可以。
解决了地皮问题后，建房的钱所剩无几。心烦的郁达夫在发表于《文学》月刊上的一篇名为《住所的话》的文章中，毫不掩饰地表达自己想建房的事和内心的烦闷。朋友见了之后，纷纷表示给他支援，有给他借钱的，有做建筑的朋友为他设计和修建的。1935年底，房子开始动工，直到次年的春天才完工。
郁达夫给这所房子取名“风雨茅庐”，有躲避风雨之意，还请马君武将这四个字写成横幅，挂在正客厅里。这所房子建得可谓典雅舒适，然而，单建造费就花去了一万六千元。三间正屋一字排开，书房、灶房、孩子游戏室、猫狗舍俱全，铁门、花园、甬道、月亮门都一并修齐，室内家具全部是新的，墙上装饰着字画。郁达夫的两间图书室里，沿墙一道高大的书架，上面摆放着他多年购置的万册图书，并且在墙脚的角上，向里安放了一块界石，上面有郁达夫书写的“王旭界”三个字，意思是：这座房子的主人是王映霞，而不是郁达夫。这是郁达夫为满足王映霞在夫妻财产分配上的想法而采取的举动，也是他在去闽南之前安慰王映霞的手段。
建造“风雨茅庐”不但花掉了郁达夫的所有积蓄，还欠下了四千多大洋的债，这让郁达夫深感重负。这时，正在福建省政府担任主席一职的陈仪正在物色一名翻译，用于应付那些蜂拥而至的日本人。经过葛敬思的介绍，他认为郁达夫是个人才，因自己的弟弟也是郁达夫在日本留学时的同学，因此对郁达夫十分信任，认为他是一个再合适不过的人选。
接到陈仪发来的邀请函后，郁达夫欣然表示同意赴闽任职，希望能多找些钱来还债。王映霞也同意他去福建，毕竟在杭州的应酬实在太多了，不过她要求陪他一起去。郁达夫却坚决不同意。王映霞就认为他之所以要独自去闽南，就是为摆脱家庭的羁绊，四处潇洒，挥霍钱财，借机恢复那些久违的放纵自由的生活，就像过去他时不时离家出走一样，放任地喝酒抽烟逛馆子。
为了这些问题，夫妻俩一连吵了几天。出发时，王映霞还坚持要把他送到上海，登上轮船后才放心。郁达夫觉得王映霞依旧不信任自己，为了安抚她的心，他每天每到一处都写信发回杭州，可是王映霞回信的内容除了叮嘱他不要喝酒抽烟乱花钱，就是督促他把握好人际关系，寻找升官的机会，对于郁达夫无心升任也颇有微词。两颗心已完全在人生观、价值观等问题上背道而驰，渐行渐远。
1937年8月，上海遭受空袭，郁达夫前往上海接从日本秘密回来的郭沫若。由于敌人封锁海面，他在回闽南的途中遭到拦截，只好从宁波登陆，改道回杭州看看，没想到扑了空，问了邻居才知道，王映霞去富阳避难去了。
