司马迁出使西南回来后，正赶上汉武帝到泰山举行封禅大典。这是百年不遇的盛事，作为太史令的司马谈却因为生病滞留在周南，忧愤之下病情加重，临死之前他拉着司马迁的手哭着嘱咐道：“我们的先祖是周朝的太史令，远在上古虞夏之际便功名显赫，掌管天文，后世才逐渐衰弱，难道如今要断绝在我手里吗？如今天子继承千年盛举，举行封禅大典，我却不能同行，这难道是命运对我的捉弄吗？我死之后，你一定要继续担任太史令，不要忘记我要撰写的著述。人生以孝为本，孝始于奉养双亲，其次为侍奉君王，最大的孝是立身扬名。扬名后世来显耀父母，才是最大的孝。世人称颂周公，就是因为他能作诗歌颂文王、武王的盛德，颂扬太公、王季的深谋远虑，乃至先祖公刘、始祖后稷的功业。周幽王、周厉王之后，王道衰败，礼乐衰微，孔子编撰、整理文献典籍，修订《诗经》《尚书》，编撰《春秋》，学者至今仍奉为宝典。自从鲁哀公获麟已有四百多年，诸侯相互兼并，对历史的记述变得残缺不全。如今汉朝兴起，海内统一，有明主贤君和无数忠臣义士，我作为太史令却未能予以评论载录，断绝了天下的修史传统，对此我很惶恐，你可要记住啊。”司马迁流着泪把父亲的临终叮嘱牢记心中。

　　两年后，公元前108年，司马迁果然继任为太史令，有了职务上的便利，他开始查看和研究收藏在金匮石室（以金为匮，以石为室，重缄慎封）的皇家档案文书。公元前104年，他受命与公孙卿、壶遂等人创制《太初历》，把每年的岁首由十月改为正月，完成了一项复杂的历法修改。此后他曾随从汉武帝出巡，到过长城、黄河等地，而尊父亲遗命对历史的整理也已同时进行，为此司马迁几乎投入了全部精力，断绝了宾客交往，顾不了家庭事务。司马迁说：“周公去世五百年后有了孔子，孔子距今也已经有了五百年，到了继承孔子的事业的时候，整理《易经》，续作《春秋》，根据《诗经》《尚书》《礼记》《乐礼》的修订原则，对历史加以编辑、整理。我，晚辈司马迁当仁不让！”

　　很多人对司马迁创作《史记》很不理解，上大夫壶遂就问：“当初孔子为什么要撰写《春秋》？”司马迁回答：“孔子知道自己的主张已经难以施行，王道难以恢复，于是将鲁国242年的历史编辑为《春秋》，希望天下的读书人从中可以得到启发，通过褒贬诸侯，申斥大夫以达到宣扬王道的目的。《易经》记述的是天地、阴阳、四季、五行在变化中辩证发展，以事物的变化引导人；《礼记》阐述纲纪人伦，注重于行，强调人的欲望要克制；《尚书〉记述先王经历的事情，注重于政，阐述先王治国理政的经验，《诗经》描绘山川、溪谷、鸟兽、草木、牝牡、雌雄，注重于风俗，描绘人的情感；《乐礼》是一门经学，注重于社会和谐，强调社会需要和谐。《春秋》阐述礼义的重要，拨乱反正，没有比《春秋》更有说服力。《春秋》内容有数万言，列举的事例有几千件。各种情况在《春秋》交汇出现。《春秋》记述弑君的事件有36起，亡国的事件有52起，诸侯国君逃离封国，社稷得不到维护，各种变故难以计数。考察这些变故发生的原因，都是因为抛弃礼义。因此说，《春秋》集礼义之大成。礼防止罪恶发生，法只能在罪恶发生后发挥作用。法的作用容易认识，礼的作用容易被忽视。”

　　壶遂继续问：“孔子的时代，上无圣明的君王，忠臣得不到重用，所以才会编撰《春秋》，用空洞的论述确定礼义的标准，当做一代帝王的法典。如今您上有圣明天子，下负有重要责任，朝野上下人尽其能，万事俱备，您的论述是想要说明什么？”司马迁回答：“不完全是这么回事。我听先人说：‘伏羲最温和厚重，作《易经》八卦。尧舜的盛德，《尚书》做了记载，礼乐在那时兴起。商汤周武时代的隆盛，受到诗人赞颂。《春秋》褒贬善恶，推崇夏、商、周三代的德政，维护王室的权威，并不完全是为了讽谏。汉建国以来，直至当今贤明天子，祥瑞多次显现，举行封禅大典，确定正朔，改变服色，普施恩惠，域外百蛮通过多重翻译前来朝贺，朝廷百官群臣都在尽力歌功颂德，仍然不能表达心意。贤士有才能得不到重用，是国君的耻辱；明君的圣德得不到宣扬，是史官的过失。我负责这项工作，不能将皇上的盛德载入史册，将功臣、大夫创立的功业详细记录，予以评述，辜负先人的嘱托，这是我的罪过。我记述的事迹全部是按照顺序还原历史，是在整理史料，不是创作。您拿它与《春秋》比较，您理解错了。”