其次，他对纪传体史书的内部结构做了理论上的概括，阐述了各种体例在一部史书中所处的位置及相互间的关系。这在《本纪》、《世家》、《列传》、《表历》、《书志》、《论赞》、《序例》等篇，都论之甚详。这是自《史》、《汉》以来，对“正史”体例所做的最全面的总结。在这些论述中，刘知幾批评前史，有许多中肯的见解，也提出了一些新的设想。《论赞》篇批评说：“每卷立论，其烦已多，而嗣论以赞，为黩弥甚。”[48]《书志》提出增立都邑志、氏族志、方物志。《载言》篇提出“宜于表志之外，更立一书”，“题为‘制册［书］’、‘章表书’”[49]，以保存重要的文献。这都是很有价值的见解。在这个方面，刘知幾对前史的批评，也有一些并非妥帖的论点。《表历》篇认为，以表为文，“载诸史传，未见其宜”[50]；《本纪》篇批评司马迁以项羽入“本纪”；《世家》篇批评《史记·陈涉世家》为不当；《书志》篇批评前史书志“皆未得其最”。这曾引起后人的争论，不过这并不是刘知幾论纪传体史书体例的主流。