魏相首先密封上书汉宣帝，提议由张安世接任大将军。这个提议精妙无比，也正中宣帝的下怀。宣帝任命张安世为大司马、车骑将军，统领两宫卫尉、城门护卫及北军，同时任命霍禹为大司马，免去霍禹的右将军职务，这是一个虚职，其实夺去了霍禹的兵权。

　　接着魏相通过宣帝的老丈人，平恩侯许广汉密封上书说：“《春秋》谴责世袭卿相，憎恶宋国三代人连续担任大夫以及鲁国季孙氏专擅朝政，认为这些都会危害国家安定。从武帝后元以来，诸侯王的势力遭到削弱，国内政务由朝廷任命的大臣负责。霍光去世，他的儿子继任大将军，侄子掌握中枢，霍氏子弟、女婿占据国家的重要部门，手中掌握兵权。霍光夫人显与女眷随意出入长信宫，入夜仍要从禁门出入，这些人骄横恣肆，长此以往，恐怕难以驾驭。巩固万世基业，一定要削去霍氏的权力，以防止不测发生，也避免功臣后代犯下重罪。”

　　按照当时的制度，大臣上书要准备两份，一份为副本留存，一份上报皇帝。掌管尚书职事的人会先看副本，不合心意的奏书就私下扣留，不再呈上给皇帝。为避免被掌管尚书事务的霍山截留，魏相通过许广汉上奏，抽去了副本。宣帝看了奏书，更坚定了铲除霍氏的决心，他采纳魏相的谏言，任命魏相为给事中。不久，霍氏谋害许皇后的罪行败露，宣帝罢黜了霍氏三个侯的爵位，让他们回家反省，其他霍氏亲属也相继被逐出长安，到外地去当官。

　　地节四年，韦贤因年老多病退休，魏相继韦贤之后担任丞相，受封为高平侯，食邑八百户。霍氏对魏相又恨又惧，便密谋伪造太后之令，准备先捕杀魏相，再废掉宣帝。事情还没有眉目，就被人揭发，霍氏遭到灭族。此后，宣帝亲理朝政，励精图治，选择贤臣，考核朝臣的政绩，魏相则总领朝中政务，悉心辅佐，他的为政之道非常符合宣帝的心意。

　　元康年间，匈奴攻打驻守车师的汉屯田军，被汉军击退。宣帝与后将军赵充国等商议，想趁着匈奴衰弱，出兵袭击匈奴西部，使其不敢再袭扰西域。魏相作为文官之首，从百姓疾苦和以何种名义出师考虑，上书劝谏，他先提出了经典的五种用兵：拯救危乱，诛除凶暴，称为义兵，义兵者所向披靡；敌人来攻击你，不得已而抗击，称为应兵，应兵者胜；为小事争斗，不能克制一时的愤怒，称为忿兵，忿兵者败；贪图他人土地或财物，称为贪兵，贪兵者破；依仗国家强大，夸耀人民众多，想在敌人面前耍威风，称为骄兵，骄兵必败。这五种用兵，不仅是由人事决定的，也是天道决定的。

　　接着他分析说：“近些年，匈奴常表现善意，把捕获的汉民全部送回来，没有侵犯过边境，现在与屯田车师的汉军有一些摩擦，这都是小事，没有必要放在心上。如果因此兴兵攻打匈奴西部，臣以为将出师无名。现在边境的百姓生活困顿，父子同穿一件棉袄，靠吃野草、野果充饥，经常担心会活不下去，再也经不起战事的折腾。‘战事过后，一定会有灾年’，说的就是百姓会有愁苦怨气，以致于破坏阴阳之间的平和。即使出兵得胜，也还会有后患，灾难变故恐怕就会降临。

　　现在的各郡太守及诸侯国相，有很多人不胜任，导致风俗浅薄，水旱灾害频发。据近年的统计，子弟杀害父兄、妻子杀害丈夫的凶案共有222起，这绝非小事！而现在陛下身边的大臣对国内的这些忧患视而不见，却想发兵攻打域外，报不足挂齿的小仇，这就是孔子讲的‘吾恐季孙之忧，不在颛臾，而在萧墙之内。’愿陛下与平昌侯、乐昌侯、平恩侯及有远见的大臣再商议。”

　　当初鲁国权臣季孙准备攻打附属国颛臾，其家臣冉有、子路向孔子禀报。孔子指出颛臾是受周天子册封的藩属，不该讨伐，并点出季孙之所以对外用兵，实际上是为了掩盖与鲁国国君的内部冲突，真正的危机来自“萧墙之内”。魏相借孔子之言劝谏宣帝要先分清主次矛盾，很多时候看似来自外部的压力或对手，但真正的隐患往往藏在内部协作、信任和秩序中。宣帝听从了魏相的意见，没有对匈奴用兵。