建炎三年是赵构一生中最为艰难的一年。靖康二年，金人的铁骑踏破大宋山河，掠走他的家人，在他后来掌握的残破江 山上留下了耻辱的记号，令他痛彻心肺，然而，若非如此，他不会有登基称帝的机会。在穿上黄袍升御座，俯览足下臣服的百官时，他的微笑宁静如往昔，却又异于寻常，那是他多年深藏的希望在瞬间盛放。于是赵桓的靖康二年变为了赵构的建炎元年，靖康二年会令他忆起杀戮、掠夺和伤痛的味道，而建炎元年则记录着他的机缘、壮志和深切的喜悦。虽然金人的威胁并未散去，但他相信这不会成为永久的问题，仰首望天，天色明亮。
可是建炎三年于他来说，却充满了黑暗的梦魇和彻底的悲剧，他的喜悦烟逝在无休止的忧患与悲哀里，从此他的心开始随着目中的天色一起暗淡。年初的扬州之变给他身心造成重创，随后的苗刘叛乱险些令他丧失帝位甚至生命，而这些仅仅是序曲，在接下来的几月时间内他又充分领略到了祸不单行的真正含义。
平息苗刘之乱后，张浚等人请赵构还跸汴京，这次赵构接纳了他们的建议，自杭州启行，但到江 宁后又闻前方战事告急，宋军败退，形势不容乐观，于是赵构改江 宁为建康府，暂行驻跸。
而他惟一的亲生儿子就薨逝在这里。
也许是他的母亲在孕育他时受战乱所累而动了胎气，太子赵旉体质一向比别的孩子羸弱，建炎三年秋七月，赵旉在建康行宫中再次感染风寒，且数日不愈。最后，一位宫人误蹴金香炉造成的响声断送了他的生命，这个不满三岁的孩子被吓得惊悸抽搐，越宿而亡。
初听到这个消息时，赵构木然枯立片刻，然后赶去潘贤妃宫中抱抱身体渐渐冷却的儿子，看着哭成泪人的潘贤妃淡淡说了句：“贤妃节哀。”所有人都讶异于他超乎情理的平静，而他静默外表掩盖着何等深重的悲痛与愤怒，却只有婴茀知道，因此她提前把同情的目光投在了那个闯祸的宫人身上。
那女子在宫内的一片哀戚声中瑟缩颤抖，一味低首跪着，当赵构的龙靴踏入她视线里时，她悚然惊觉，含泪惶恐抬头求道：“官家……”
甫吐出二字，赵构的鞭子已迎面落下，和着凌厉的刺耳响声，如闪电般，一道深深的血痕霎时裂于她的脸庞、脖子和胸前。
女子凄惨地呼叫求饶，却丝毫影响不了赵构挥鞭的速度。他额上与手上的青筋暴烈地凸起，彻骨恨意自双目激射而出，与马鞭一起反复击打着那女子。女子在地上不断哀号、辗转躲避，鞭子依然毫不留情地重重落下。赵构挥鞭的动作越来越猛烈而狂乱，体无完肤是那女子避无可避的结果，寸裂的衣衫碎片与溅起的血雾一起飞，除了衔着快意旁观的潘贤妃，其他人都侧目叹息不忍睹。
赵构继续失控般地鞭打着那宫人，直到马鞭的手柄不堪他异常的力度而突然断裂。他握着留在手中的一截残柄，终于停住，微微喘着气，怒恨的目光依然锁定地上奄奄一息的女子，在两名宦官战战兢兢地过来，问他如何处置她时，他决然道：“斩！”
婴茀立即走来，轻轻取走残柄，然后扶赵构落座。他坍坐于椅中，身上脸上满是汗水肆虐的痕迹，婴茀缓缓为他擦拭，触及他目下皮肤时，丝巾下的手指忽地一热，那是承接了一滴新落的液体。
“婴茀，”他倚靠在椅背上，闭目说：“我没有儿子了……”
他一向很注意在众人面前自称为“朕”，当重又用“我”自称时，必是大喜大悲、情绪感情最紊乱的时候。而且此刻，他的语调与他的脸色一样，绝望地苍白着。
婴茀自然明白这个事实对现在的赵构来说意味着什么。他惟一的儿子死了，而他的身体情况也决定了他以后将不会再有儿子。纵然掌握天下又如何，他注定将是个无后嗣继承他辛苦维系的江 山的孤家寡人。当真是命运弄人，可以在谁也不曾预料的情况下让他君临天下，却又陡然掐断了他的血脉，令他独品断子绝孙的痛苦。
“官家，”婴茀缓缓在他身边跪下，轻声对他说：“有很多东西是可以失而复得的，城池和太子都不例外。”
赵构将儿子埋葬在建康城中铁塔寺法堂西边的一间小屋之下，经常驻足于墓旁，一站便是多时，一道萧索孤寂的影子投在地上，时长时短，随着流光渐渐衍变。
沉郁之极的他脾气也变得陰晴不定，多疑而易怒。而此时仙井监乡贡进士李时雨偏偏很不知趣地上书，说储君之位不宜久虚，乞陛下选立宗室子为储，以安人心。上书赵构只扫了一眼便勃然大怒，两手把上书撕得粉碎掷于地，怒道：“传朕口谕：夺李时雨功名，斥还乡里。”
于是李时雨一面感叹自己这雨下得真不合时宜一边背上行囊黯然还乡。随后几天的宋金战报也毫不给赵构解忧一笑的机会，看着他一日比一日憔悴烦躁，婴茀便知道宋军仍然在败退，金人的兵戈离他们越来越近了。
“婴茀，你觉不觉得杭州是个比汴京更好的地方？”一夜 ，在阅完奏折后，赵构若有所思地对婴茀说。
婴茀颔首：“杭州风景优美，气候宜人，若论居住环境，的确是胜过汴京。”
“而且，”赵构一叹：“它比汴京宁和安全。”
次日，赵构下旨升杭州为临安府，授意临安官员注意城中行宫府衙及道路桥梁的修缮建设。这个决定没让婴茀感到惊奇，她默默听着身边宫人兴致勃勃地谈论何时回临安的问题，一抹樱花的粉色自心底飘过，不禁有些怅然。她心知儿时生长之地汴京已离自己很遥远了，也许不再有机会回去，而杭州——这个新名中含有“安”字的城市，应该会是她与赵构日后安居的地方。
安全感是赵构而今最缺乏也最渴望的东西，建炎三年十月某夜发生的一桩小事很清楚地证明了这点。那时他从建康移驾回临安，中途暂宿于钱塘江 边的寺院归德院，夜深人静之时门外忽有震天巨响滚滚而来，如奔雷，如天崩，把赵构生生自梦中惊醒。细听之下又觉得其声似万面鼓锣齐鸣，铿锵激越，隐有金戈碰撞之声 ，仿佛千军万马正在激战。
赵构立即推醒身边的婴茀，迅速起身，边披铠甲边问外面的禁兵：“是不是金人袭来了？”
禁兵一愣，忙跑出去看，须臾跑回来禀道：“未曾发现金兵踪影。”
“那这声音……”
“是钱塘江 潮起之声 。”
自古以来，钱塘江 潮势最盛，涨潮时犹如山崩地裂，一波波卷立起数丈水墙，倾涛泻浪，喷珠溅玉，势如万马奔腾，其声自然也响亮非常，能传数里。赵构这才反应过来，释然坐下，回想自己刚才的行为亦有些惭愧，看看婴茀，自嘲一笑：“是不是觉得朕一惊一乍，有失风度？”
必定是想起了扬州那晚之事，他刚才惶恐得像只受惊的小动物。但面对他的提问，婴茀却摇摇头，俯身握住他冰凉的手，说：“乱世之中，官家随时保持警醒是必要的。”随后亦淡淡笑了：“刚才听到潮声，臣妾也很害怕。”
那时金帅兀朮听说赵构要回临安，便大兴水师，准备由海道来袭。赵构在临安只留居了七日，见金军来势汹汹，愈逼愈紧，便复渡钱塘江 至越州。此前赵构已经把隆祐太后及潘贤妃、张婕妤送至较为安全的虔州，身边照例只留婴茀一人。
金军一路攻城拔寨、势如破竹，不久后便攻破了建康，赵构带着婴茀频频移驾躲避，短短数月内差不多已跑遍江 浙各城。建康城破后，江 淮屏蔽 已失，临安与越州等地都不再安全，赵构一路退至临海的明州。宰相吕颐浩劝他在迫不得已之时不妨出海暂避，道：“目前之计，惟有航海以避寇氛。敌善乘马，不惯乘舟，等敌兵退去，再还跸两浙。彼入我出，彼出我入，这本来就是兵家的奇计。”
随后的形势也逼得赵构无法另想良策。兀朮长驰南进，先趋广德，再抵临安。临安守臣康允之匆忙逃走，钱塘县令朱跸自尽殉国，兀朮再遣大将阿里蒲卢浑率精兵渡江 追击赵构，誓要将他活捉回金。赵构因此接纳了吕颐浩的建议，乘楼船入海暂避金兵。
自此一连数日舟行海中，途经定海、昌国等县而不靠岸停留，赵构终日郁郁难展笑颜。某日御舟如往日般在浩淼烟波中破浪前行，赵构在舟中阅书，婴茀随侍在侧，忽听外面甲板上“啪”地一声响，似有重物落下。两人当即出舱去看，但见原来是一条巨大的白鱼自海里跃出，竟跃到了舟上，此刻正在甲板上不住腾跳，兀自带着水珠的鳞片在陽光下闪着晶莹的光。
宫人们啧啧称奇，赵构默然漫看，一言不发，而婴茀则微笑着朝赵构盈盈一福，说：“臣妾恭喜官家，此乃大吉之兆。”
赵构问：“何以见得？”
婴茀道：“昔日周武王渡海途中也曾见白鱼献瑞，后来果然得以灭纣兴周。官家如今亦得此祥瑞之兆，可见天下不久后将庆升平。”
这话终于引来赵构舒眉一笑，对她说：“婴茀，你真是很有心。朕该怎样谢你呢？”
婴茀含笑答：“婴茀只要能见官家常露笑颜，便会觉得很开心。”
赵构牵她的手迈步回舱，亲笔写下诏书：进和义夫人吴氏为才人。
在舟上待到岁末，眼见天气一天冷似一天，北风凛冽，飞雪似杨花，水面上的御舟不足以御寒，居于其中寒冷异常，赵构遂准备登陆度岁，不料又接到接到越州失陷的消息，于是赵构又折回舱中，望着婴茀叹道：“看来我们只能在水面上过年了。”
“这也未必不好。”婴茀安慰他说：“今年官家在舟中过新年，就如渔翁一般。听说金国宗室将帅间彼此也在明争暗斗，或许这预示着贼虏鹬蚌相争，而官家将坐收渔人之利。”
“你很会说话。”赵构勉强一笑：“事到如今，真觉得这皇帝不当也罢，莫如真做渔翁，倒落得无忧无虑、逍遥自在。”
那年的元旦他们便在海上舟中度过。金兵追击不果，在攻下的城镇烧杀抢掠后亦不设重兵留守，掌握军权的知枢密院事张浚重用韩世忠、岳飞等将，稳步反击，逐渐收回了大部分江 淮失地，赵构才得以登陆回去。