结束了短暂的假期，郁达夫回到了杭州。早在1933年，郁达夫夫妇就由上海迁到杭州并花费巨资建了一座“风雨茅庐”,住了下来。为此郁达夫欠下了四千块的债款，而喜欢结交名人的王映霞却在此如鱼得水，成为了杭州城的交际明星。

　　为谋生计，1936年郁达夫南下福建，但在任福建省府参议时却听说了家中娇妻与浙江省教育厅厅长许绍棣的传闻，郁达夫本并没放在心上，但后来郁达夫返回杭州，在家中发现了许绍棣写给王映霞的情书，这一次他终于忍不住大怒，夫妻关系濒临破裂。气不过的郁达夫将这些信批量影印赠送朋友，声称是打官司的“凭证”.王映霞则匆忙收拾行李躲到一个律师朋友家中。郁达夫请过郭沫若来查看现场，还在报上刊登启事，闹得满城风雨。后经友人调解，郁达夫又在《大公报》上登出《道歉启事》，这才和解。

　　而在上个世纪90年代初，郁达夫的生前好友、诗人汪静之还爆出了一个更大的丑闻，他撰文中说王映霞曾经在武汉为戴笠打过胎。文史作家刘继兴撰文称，据汪静之回忆，1938年春夏间他与家人到武昌避难，当时郁达夫全家也在武昌，两家是近邻，常相往来。台儿庄大捷后，郁达夫随政府慰劳团到前线劳军，有一天王映霞对汪的妻子符竹因说：“我肚里有了，抗战逃难时期走动不便，我到医院里请医生打掉。医生说：‘要你男人一起来，才能打掉。男人不同意，我们不能打。’达夫参加慰问团去了，要很多天才会回来，太大了打起来难些，不如小的时候早打。竹因姐，我要请静之陪我到医院去，装作我的男人，医生就会替我打掉。请你把男人借我一借。”符竹因听了满口应承，就让汪静之陪王映霞到一家私人医院里做了流产手术。过了一段时间汪静之到郁达夫家看望，却见郁达夫的儿子郁飞满脸愁容，就问他为什么不高兴？孩子说昨夜妈妈没有回来，王映霞的母亲也对汪静之说，王映霞昨夜被一辆小轿车接走后至今未回。第二天汪静之再去探望，却见王映霞一脸的兴奋和幸福，对他大谈戴笠的花园洋房是如何富丽堂皇如何漂亮，流露出非常羡慕向往的神情，汪静之马上悟到她夜不归宿的原因了，也联想到她为什么要在郁达夫外出时去打胎。汪静之在《王映霞的一个秘密》中说：“我当时考虑要不要告诉达夫：照道理不应该隐瞒，应把真相告诉朋友，但又怕达夫一气之下，声张出去。戴笠是国民党的特务头子，人称杀人魔王。如果达夫声张出去，戴笠决不饶他的命。太危险了！这样考虑之后，我就决定不告诉达夫，也不告诉别人。”

　　后来汪静之离开武汉去了广州，郁达夫一家也到南洋去了，这件事就一直埋在了汪静之心里。直几十年后，汪静之偶然看到王映霞指责郁达夫的两篇回忆文章，汪静之这才撰文回顾这段往事。