吴湖帆原配夫人是苏州大姓潘氏之女潘静叔，其祖为道光时宰相，其父是光绪时军机大臣。潘静淑虽是名门才女，当年却以“荆布椎髻待湖帆”。婚后，在事业上、生活上对湖帆帮助极大。他们共同生活20多年，夫妇之间，琴琵和鸣，诗画酬唱，极为相得，时人多将他们比作梁(鸿)孟(光)、赵(明诚)李(易安)、赵(松雪)管(仲姬)。不料，1939年，潘氏急疾不治，瘁然而逝，给吴湖帆精神上刺激很大。吴在《故妻潘夫人墓状》中写道：呜呼痛哉！金镂长埋，佳城永闭，我心碎矣，君灵知否？为表奉倩伤神之意，他从这时起更名为“倩”，自号“倩庵”。又请陈巨来为潘静淑刻名章10多方，钤在遗物上，以示悼念。

　　潘氏下葬于沪西虹桥公墓。吴湖帆特请叶恭绰题“梁景佳城”四字，以备自己百年后合葬用。这一段时间，吴湖帆沉浸在极度悲痛之中，他先后填词数十首，哀婉凄约，潘氏的遗物，几乎让他写遍了。

　　为了减轻吴湖帆的悲绪，他的两个儿了吴孟欧、吴述欧特辑父母所作之画16帧影印行世，名《梁景书屋画集》，封面为叶恭绰题签，前有夏敬观序及陈遽所作之传，后有潘静淑侄潘博山所作之跋。书为作开套色精印，首页刊吴湖帆、潘静淑合影。内页所选吴湖帆山水画7幅，皆其力作，潘氏的花卉9辐，也是从她遗世的160多幅中精选出来的代表作。该书印成后，上海各大书店均有出售，一时很受欢迎。

　　潘静淑雅好填词，有《绿草词》一卷遗世，吴湖帆感念潘氏，便以《绿遍池塘草》为题，广征图咏。他交游遍海内，数月之间，收到和界名流应征作品一百数十件，其中有吴纯斋、夏闰奄、赵叔儒、夏钊丞、赵云壑、吴待秋、冯超然，冒鹤亭、仇述庵、陈叔通、郑午昌、汪亚尘、刘海粟、溥心畲、张大千、叶恭绰、沈尹默、马公愚、郑慕康、陆抑非等名家的作品。

　　江州伊立勋先生题曰：“莺燕群飞忆早春，清词丽句墨犹新。如何检点妆台册，顿隔人天倍怆神。”杭县陈叔通题；“风流王谢蔚清门，梁普妆楼世泽尊。绿遍池塘春不住，珮环凄断夜归魂。”番禺叶公绰词曰：“斗偈世缘空，永恨家山绕，梁景凄清似隔年，短梦随春老。调苦曲难终，泪浥香盈抱，莫问他生与此生，绿遍池塘草。”

　　《绿遍池塘草》1940年问世，吴湖帆亲自作序，又自作画一帧，并题《金缕曲》一词，其中有句：“指望虹桥桥边路，又青青一例年年扫，非痛器，即狂笑。”

　　吴湖帆折鸾之痛持续了2年多，直到1942年，他和顾抱真结婚才慢慢地解脱出来。