为了写作，司马迁可以说耗尽了毕生精力。撰写史书，需要搜集大量的材料。《史记》的取材极其广泛，一是文献材料，其中有《夏小正》、《世本》、《秦纪》、《春秋》、《国策》、《楚汉春秋》等数十种。二是交游所得。司马迁一生交游很广，彼此过从往来，也获得了许多极珍贵的史料。三是实地采访。司马迁二十岁即四处游历，行程几乎达到西汉王朝的全境，看了好些古代遗迹，听到了好些古代的轶闻，这也极大地丰富了他的历史材料宝库。在游历的过程中，司马迁还特别注意金石碑刻的记录，开创了运用金石材料的先例，如《秦始皇本纪》。
如果仅仅是历史材料的堆积，当然也完成不了一部伟大的著作。司马迁之所以蒙受奇耻大辱却“就极刑而无愠色”，是因为具有伟大的抱负。他说：“仆窃不逊，近自托于无能之辞，网罗天下放失旧闻，考之行事，稽其成败兴衰之理，凡百三十篇，亦欲以究天人之际，通古今之变，成一家之言。”（《报任安书》）只有如此崇高的理想和坚定的信念，才支撑着艰苦卓绝的编写工作，给中国历史学留下一部光辉不朽的著作。
《史记》是一部贯穿古今的通史，从传说中的黄帝开始，一直写到汉武帝元狩元年（前122年），叙述了我国三千年左右的历史。据司马迁说，全书有本纪十二篇，表十篇，书八篇，世家三十篇，列传七十篇，共一百三十篇。
“本纪”实际上就是帝王的传记，因为帝王是统理国家大事的最高首脑，为他们作纪传而名之曰“本纪”，正所以显示天下本统之所在，使官民行事都有一定的纲纪的缘故。
同时，也是全书的总纲，是用编年体的方法记事的。在“本纪”的写作中，司马迁采取了详今略远的办法，时代愈远愈略，愈近愈详。“本纪”托始黄帝，是因为黄帝是中华民族的始祖，又是“正名百物”的祖师。将项羽列入“本纪”，一是秦汉间几年“政由羽出”，一是推崇其人格。
“表”，所以列记事件，使之纲举而目张，以简御繁，一目了然，便于观览、检索。
“书”，是记载历代朝章国典，以明古今制度沿革的专章，非是熟悉掌故的史家，是无法撰写成书的。班固《汉书》改称“志”，成为通例。“书”的修撰，为研究各种专门史提供了丰富的资料。
“世家”是记载诸侯王国之事的。这因诸侯开国承家，子孙世袭，也就给了他们的传记叫做世家。从西周的大封建开始，发展到春秋、战国，各诸侯国先后称霸称雄，盛极一时，用“世家”体裁记述这一情况，是非常妥当的。司马迁把孔子和陈涉也列入“世家”，是一种例外。孔子虽非王侯，但却是传承三代文化的宗主，更何况汉武帝时儒学独尊，孔子是儒学的创始人，将之列入“世家”也反映了思想领域的现实情况。至于陈涉，不但是首先起义亡秦的领导者，且是三代以来以平民起兵而反残暴统治的第一人，而亡秦的侯王又多是他建置的。司马迁将之列入“世家”，把他的功业和汤放桀，武王伐纣，孔子作《春秋》相比，将他写成为震撼暴秦帝国统治、叱咤风云的伟大历史英雄，反映了作者进步的历史观。