楊廣的這種錯誤認識，終于讓他在張金稱死后兩個月。做出了一個致命的錯誤決定mdash;mdash;當時。楊義臣又已經在戰場上連續擊敗竇建德好幾次，并且把竇建德的兵馬打散了至少十幾萬人。而楊廣見其他河北賊頭都不堪一擊，居然被楊義臣擊潰了這么多部隊，心中狐疑：河北之地，年年剿匪消滅幾十萬人，從大業八年開始，都已經第四年了，按照歷任涿郡留守、河北道經略使報上來的數字，豈不是光看剿滅的亂賊的人數。就起碼有兩百萬人以上直接從賊當兵不成？天下難道真有這么多人從賊？

    這一念之差，讓楊廣頗是找朝臣詢問了一番河北賊情實際情況，裴矩、虞世基等掌握著話語權的朝中重臣倒也沒有對楊義臣落井下石，只是委婉地對楊廣陳述了實情mdash;mdash;

    歷史上的這個時刻。虞世基比如今還要圓滑得多，為了更好的保護自己，他幾乎已經被楊廣的暴虐打斷了脊梁骨，只知道順著楊廣的意思說，還說出了楊留守年年剿賊數十萬，河北焉有如許多賊寇rdquo;的評價，從側面質疑了楊義臣剿賊規模的真實性。堅定了楊廣認為楊義臣養寇自重的念頭，算是要為楊義臣的被撤換擔負下次要責任。而本時空因為虞世基好歹通過當初蕭瑀的渠道，已經或多或少靠攏了蕭銑，也在兩次黑鍋事件中被蕭銑暗示感化，所以倒沒有說出這種推波助瀾的話。然而虞世基的這一點點小轉變從結果而言并沒有什么卵用，依然阻止不了楊廣對臣下忠誠度的猜忌和腦補。

    結果楊廣猶豫再三之后，或許是真的害怕楊義臣殺良冒功、持續養寇自重以維持兵權，或許是楊廣這個時間點真的已經下定了遷都南下的決定，不打算再在河北留下那么大規模一支需要朝廷供養的大軍?？傊?，楊廣下達了一條后來讓河北重新糜爛的圣旨。

    把河北道經略使楊義臣調入朝廷，加封為禮部尚書（此為史實）。

    從官爵品級上來看，加封為禮部尚書是升官，但是地球人都知道，在戰爭年代從方面大員調回朝中管教育部，究竟意味著什么。楊義臣倒是沒敢抗旨不遵做出什么直接扯旗造反的事情，只是在退兵前如同后來的岳飛一樣拔劍斬石，恨聲長嘆：五年之功，毀于一旦。

    據說楊義臣被召回朝中之后，他在河北的剿匪軍隊除了少部分有朝廷編制的被撤回東都、后來也得以跟著朝廷南下之外。其余大部分楊義臣戰時權變多征的軍隊，在楊義臣離去后都被遣散了，甚至有不少精兵后來被竇建德拉去從賊mdash;mdash;那部分兵馬主要是因為看到了楊義臣遭受的不公正待遇之后，對大隋朝廷再也沒有最后一絲期望和忠誠可言，才憤而投敵的。

    楊義臣本人，則在被召回朝中之后，整日郁郁寡歡，最后在大業十二年年初的時候疽瘡發背而死mdash;mdash;這個癥狀死法，據說和史書上記載的亞父范增因為項羽中了陳平的反間計而被逐走后，憂憤而死的病癥是一模一樣的。

    后人唏噓不已，對楊廣這種自毀長城的舉動無法理解，但是誰讓楊廣就是這么干了呢。只有身臨其境的人，或許才能明白此時此刻的楊廣真是打算暫時放棄北方了mdash;mdash;歷史上楊廣南遷到揚州之后，對北方的賦稅也好，軍費撥款也好幾乎都不過問也不作為了，如果他不提前遣散楊義臣，那么楊義臣的部隊只要拿不到軍餉，最終就算楊義臣本人再忠心也是會被逼反的。所以楊廣這么做，其實只是希望河北人和河北人自相殘殺。殺到那些靠搶劫滾雪球壯大的農民軍無良民可搶、然后全部自行餓死，他再來收復山東和河北。

    正如一些細菌在灌滿了營養液的培養皿里頭，你靠往里頭打抗生素殺菌并不一定是最有效的辦法，尤其當細菌調整好了環境進入指數期增長的時候。但是任何培養皿里的細菌種群總有消亡的那一刻，那就是營養液被耗竭的時候。而放到社會環境中時，其實當一些農民軍通過劫掠其他更弱小的貧民而非豪強來壯大自己時。這些農民軍就已經化身為了細菌。而良民就成了營養液。楊廣雖然不懂生物學，但是在他看來，北齊故地那些野蠻的刁民，真的已經和細菌差不多了，必須釜底抽薪把那些頑強彪悍的族群徹底餓死，然后重新移民改良其民風才能長治久安。

    楊義臣被召回朝廷之后，河北局勢重新糜爛。張金稱被殺后那些殘余的非嫡系部隊也逐漸被原本已經被楊義臣逼入絕境的竇建德所先后收服，最終成就了竇建德成為河北地區笑到最后的軍閥。

    此時，卻把目光重新投向尚在東都的朝廷。楊廣一邊著手解決了楊義臣的問題之后。另一邊也聽說了江南道的蕭銑回報，說江西亂賊林士弘已經被基本剿滅，只剩下一些逃進山區為寇的一時之間找不到，但從丹陽到武昌之間全線都已經肅清。另外。在燕王南下留守的三四個月里頭，江都揚州的行宮基本上重新修葺一新，足可供朝廷暫且駐扎。得了這兩個難得的喜訊之后，楊廣終于可以把朝廷南遷的事情正式提上臺面了。

    不出所料，楊廣正式提出朝廷暫時移駐江都的動議之后，依然遭到了無數大臣的反對，可惜楊廣已經到了一意孤行的程度。在虞世基和裴矩屈服之后，其他人的勸說都已經無效了。楊廣以幾乎是一言堂的形式，給了朝臣和驍果軍等京師駐軍一個月的時間準備，九月必須啟程南下巡幸江都。