班師還朝以後,論功行賞,狄青被任命為樞密使,作了最高軍事長官。然而種種禍患也就由此而生。宋懲唐末五代武人專政,兵變頻仍之弊,自開國以來,極力壓低武將地位,以絕其覬覦之心,把右文抑武作為基本國策。從宋太祖的“杯酒釋兵權”,分割禁軍統帥權力,到實行“更戍法”,使兵不知將,將不知兵,直至發展到凡將帥出征,要由朝廷授以陣圖,訓令,將帥只能按圖作戰的荒唐地步。在這樣的政治環境中,隨著狄青官職的升遷,朝廷對他的猜忌,疑慮也在逐步加深。早在皇祐四年(1052年)狄青任樞密副使時,御史中丞王舉正就認為,狄青出身行伍而位至執政,“本朝所無,恐四方輕朝廷”。右司諫賈黯上書皇帝,論奏狄青升官有四不可,御史韓贄等人亦皆附和。在依智高縱橫嶺南,滿朝文武驚慌失措,狄青受命於危難,率兵出征之際,朝廷在欣喜之餘,也仍然不忘“狄青武人,不可獨任”,要以宦官任守忠監軍,監視狄青。後因諫官李兌力言“唐失其政,以宦者觀軍容,致主將掣肘,是不足法。”朝廷也迫於形勢緊急才作罷。到狄青凱旋還朝作了樞密使時,這種疑忌和不安達到了頂點。臣僚百官紛紛進言,不僅始終反對狄青作官者如王舉正竟以罷官威脅,就連原來屢屢稱頌狄青戰功,譽之為良將的龐籍、歐陽修等人也極力反對任命狄青。難道是狄青居功自傲,懷有異心而招致眾議嗎?恰恰相反,狄青始終對朝廷忠心耿耿。在他作了樞密副使之後,臉上仍保留著宋代軍士低賤的標記——製字。宋仁宗曾勸他用藥抹去,狄青回答說:“陛下以功擢臣,不問門第,臣所以有今日,由此涅爾,臣願留以勸軍中。”首先想到的是鼓舞士氣,而不是自己作官的尊嚴。狄青出身貧賤,曾有諂諛附阿之徒附會說他是唐朝名臣狄仁傑之後,狄青並不為改換門庭而冒認祖宗,他說:“一時遭際,安敢自比梁公。”在依智高敗逃之後,有人曾主張報依智商已死,以此邀功,狄青卻以為“不敢誣朝廷以貪功”。史稱他“為人縝密寡言,其計事必審中機會而後發。行師先正隊伍,明賞罰,與士卒同飢寒勞苦……尤喜推功與將佐。”狄青的品行和武功在當時朝野廣為傳頌,京師的百姓相與誰說:“誦詠其材武。青每出入,輒聚觀之,至壅路不得行。”就連力主罷免他的文彥博也稱他“忠謹有素”。歐陽修在嘉祐元年(1056)七月上書請罷狄青,洋洋數千言,舉不出一條得力罪證,反而稱讚他:“青之事藝,實過於人”,“其心不惡”, “為軍士所喜”,任樞密使以來,“未見過失”。那麼罪名是什麼呢?不得不假託虛妄的陰陽五行說,把當年的水災歸罪於狄青,說:“水者陽也,兵亦陰也,武將亦陰也”,今年的大水就是老天爺因為狄青任官而顯示的徵兆。簡直是無中生有,羅織罪名。為什麼朝廷如此急於除掉狄青呢?文彥博說得明白,就是因為“朝廷疑耳”。在文彥博請罷狄青時,宋仁宗說“狄青是忠臣”,文彥博立即反駁“太祖豈非周世宗忠臣”。嘉祐元年(1056年)正月,仁宗生了一場病,後來慢慢康復,如製誥劉敞上書說:“天下有大憂者,又有大可疑者,今上體平復,大優者去矣,而大疑者尚存”,竟把狄青樹為朝廷最大的威脅。在這種猜忌,疑慮達到登峰造極的時候,謠言紛起,有人說狄青家的狗頭正長角,有人說狄青的住宅夜有光怪,就連京師發水,狄青避家相國寺,也被認為是要奪取王位的行動。嘉祐元年(1056年)八月,僅作了4年樞密使的狄青終於被罷官,但因無過,被加宰相銜{同中書門下平章事},民間稱“從士兵到元帥、從布衣到宰相”,出知陳州,離開了京師。