公元1129年二月初，粘没喝（完颜宗翰）从泗州（安徽泗县）杀到楚州（江苏淮安），知楚州朱琳投降，粘没喝（完颜宗翰）马不停蹄，乘胜而南，攻陷天长军（安徽天长）。
天长军距离扬州只有一百里，粘没喝（完颜宗翰）早获悉赵构在扬州，占领天长军后，立即派精骑兵偷袭扬州，企图将南宋朝廷连根拔除！
赵构此时尚蒙在鼓里，还在扬州行宫里花天酒地呢。此前，赵构提出过长江，想躲避到江南去，可扬州繁华，宰相黄潜善、汪伯彦等人还想享受，劝赵构不要着急，说金人一时半会儿打不过来，再者搬运库藏金帛也会耗费很多时日，赵构听信了两位心腹宰相，没有过江。只让刘正彦护着皇子、后宫及有名位的嫔妃先走。
赵构一个疏忽，酿成无法挽回的后果，追悔莫及！后黄潜善、汪伯彦被赶下台，这也是重要原因。
但赵构毕竟心里不踏实，多了一个心眼，二月初三日，赵构命内侍邝询前往天长军了解战况，邝询走到半路，就听到天长军被攻陷的消息，吓得连忙掉头往回奔。
而赵构乘着这个空档，大白天在行宫和宫人做着不可描述的舒心事呢！
邝询一口气跑回行宫，惊慌失措之间，也顾不得君臣礼仪，推开宫门就大喊道：“官家，不好了，金兵杀来了！”
此时，赵构正跟小美眉忙得热火朝天、不可开交，紧要关头，突然听到“金军杀来”这个消息，不啻为晴天一个霹雳，吓得全身激灵，重要部位迅速萎缩，头冒冷汗，头脑空白！短暂懵逼之后，才反应过来，逃命要紧啊。
赵构丢开身下美人，一个轱辘爬起身来，穿上衣服，披戴盔甲，也顾得和其他大臣打招呼，骑马一溜烟出城往南狂奔。赶到瓜州渡，找到了一条小船，渡过长江，才将心口的石头慢慢放下来，看看身边，只有“护圣军”统制王渊带着几位军校以及张浚、内侍康履等随从。
傍晚，一行人匆匆忙忙、惊魂未定地赶到镇江。
赵构在关键的时间、关键的地点，被关键的信息、吓坏了关键的部位！从此，赵构雄风不再，子息凋零！
再说宰相黄潜善、汪伯彦，还在悠哉悠哉地率大臣听和尚说法呢！听完后又安排会餐，觥筹交错之时，有堂吏进来惊慌失措地大叫：“皇上起驾走了！”
黄潜善、汪伯彦一听，茫然失措，手中酒杯一丢，窜出大堂，回衙全副武装，在军士护卫下骑马南逃。接着扬州城里闻风而闻风而动，一片骚乱。大臣、军士、平民，妇孺儿童、贩夫走卒，全部行色匆匆、神色惶惶，涌向渡口。互相拥挤，相互践踏，死者、伤者无数，呼儿唤女，怨声载道！
司农卿黄谔跑到江边，可能黄谔排场比较大，或者黄谔和黄潜善有几分相似，或者有人听他是“黄大人”，总之，军民都以为他黄谔就是黄潜善，切齿痛骂道：“误国误民的奸贼，都是你黄潜善造成的罪过！”说完一拥而上。
黄谔口里刚要辩白：自己可不是黄潜善，尸首就已经被这些军民分家了。
因为事发仓促，朝廷的仪物丢失得一干二净，大臣、军民走出扬州城才几里路，城里便火光冲天，烟焰熏天！原来金军先锋马五率五百金军已经赶到了扬州。
赵构在镇江府衙心惊胆跳地住了一宿，朝廷群臣陆续赶到。第二天召大臣征询去留。吕颐浩建议就驻跸镇江，等待援军，许多大臣还没缓过神来，哪有什么主意，都连连附和。
唯独王渊反对道：“镇江虽然有长江做天险，但只能抵挡一个方向，如果金军从南通渡江占据姑苏，截断我们后路怎么办？不如去杭州安全！”
赵构因此决心到杭州与皇太后等人汇合！
赵构命刘光世为“五军制置使”，守镇江；杨惟忠节制江东军马，驻江宁府（江苏南京），自己南下去杭州。
佐料：《宋人轶事汇编》卷三“宋高宗”第13、14条载：赵构在扬州时，每次退朝，便到御殿旁边的一个小阁里，垂帘独坐，内面只摆设一张素木桌子，桌上摆放笔砚纸墨而已，然后端坐小桌前，阅览四方奏章，身边只有两位小黄门伺候。大宦官奏事，赵构都会从小阁里出来倾听。知镇江钱伯言曾经向赵构进献“螺钿”（螺钿又叫螺填、螺甸等，是中国特有的传统艺术瑰宝，一般镶嵌在漆器上）桌椅，赵构厌恶它太华贵奢靡了，命内侍拖到闹市里毁弃了。
赵构的御膳也非常简单，只有面饭、煎肉、炊饼而已。
赵构曾对大臣道：“以前从相州渡黄河，荒山野岭，饥寒交迫，烧柴御寒，用一只半破的瓷碗，温汤淘饭，茅屋下和汪伯彦同吃，现在还历历在目，不敢忘却！”
赵构的话透漏出两个信息，一是他是吃过苦头，也不敢忘记苦难的人，二是间接说明了为什么汪伯彦能够坐上宰相宝座的原因。