农业革命后几千年的历史，可以总结为一个问题：如果人类的基因里并没有大规模合作的生物本能，所有的合作网络究竟如何维系？简单的讲法，是人类创造出了由想象建构的秩序、发明了文字，以这两者补足我们基因中的不足。
但对许多人来说，这些合作网络究竟是好是坏实在难说。网络背后那些想象的秩序既不中立也不公平，总把人分成一些其实并不存在的分类，并且排出上下等级。上等人享有各种权力和特权，而下等人有的只有歧视和压迫。以《汉谟拉比法典》为例，这部法典就将社会分成上等人、平民和奴隶。上等人养尊处优，享尽一切好处。平民只能捡捡上等人剩下的东西。而奴隶如果还敢抱怨，就等着吃苦头了。
就算是1776年的美国《独立宣言》，尽管把人人生而平等喊得震天响，其实还是把人分成了上下等级。《独立宣言》区分了男女，男性从中得利，但女性却被剥夺了同样的权利。《独立宣言》也区分了白人、黑人和印第安人，让白人享有自由民主，但却认为黑人和印第安人是比较劣等的人类，不该享有平等的权利。当时许多蓄奴的人也在《独立宣言》上签了名，他们签署后并未释放奴隶，但一点儿也不觉得自己言行不一。在他们看来，黑鬼哪有什么“人”权？
美国这套秩序还区分了贫富之间的阶级。当时，美国人对于有钱爸妈把遗产和家族企业留给子女多半并不觉得有什么问题。在他们看来，所谓“平等”指的只有“法律面前人人平等”这件事，而与失业救济、普及教育或健康保险无关。至于当时的“自由”，也与今天截然不同。在1776年，“自由”并不代表着权利遭侵夺的人能够取得并行使权利（至于黑人、印第安人或女性更是绝无可能），而只是代表着除非特殊状况，否则国家不能没收或处分公民的私有财产。这么说来，美国这套秩序所奉行的就是“财富的阶级”，有些人会认为这就是神的旨意，也有些人会认为这是自然不变的规律。这些人会说，勤劳致富，懒惰则困穷，这是自然的赏罚原则。
然而，以上所有的区别，不管是自由人／奴隶、白人／黑人、富人／穷人，都只是虚构的想象所建构出来的。（后面会另外来谈男女的阶级问题。）然而历史的铁则告诉我们，每一种由想象建构出来的秩序，都绝不会承认自己出于想象和虚构，而会大谈自己是自然、必然的结果。举例来说，许多赞成奴隶制度的人就认为，这是自然现象，并不是人类所发明出来的一种制度。汉谟拉比认为，为人或为奴是神所决定的。亚里士多德也认为，奴隶有“奴隶的本质”，而自由人有“自由的本质”，他们的社会地位不同，只是本质的展现。
而且，如果你问一个白人至上主义者为什么赞成种族阶级制度，他几乎一定能跟你滔滔不绝地来场伪科学讲座，告诉你不同种族之间本来就有生物学上的差异，比如说，白人的血液或基因就有什么特殊之处，让他们天生更聪明、更有道德感也更勤奋。另外，如果你问一个资本主义的忠实拥护者为什么赞成财富阶级的制度，他也很可能告诉你，这正是客观能力差异带来的必然结果。这些人认为，有钱人之所以有钱，是因为他们能力更强，工作更认真。这样一来，有钱人该有更好的医疗保健、更好的教育、更好的营养，也是天经地义的事。这每分每毫，都是他们应得的。
至于赞成种姓制度的印度教徒则相信，是宇宙的力量划分了种姓的阶级。根据著名的婆罗门教神话，诸神是以原人普罗沙（Purusa）的身体创造这个世界：他的眼睛化成太阳，他的大脑化成月亮，他的口化成了婆罗门（祭司），他的手化成了刹帝力（贵族、武士），他的大腿化成了吠舍（农民和商人等平民），而他的小腿则化成了首陀罗（仆人）。如果相信这种说法，那么婆罗门和首陀罗的社会地位差异就再自然不过，就像太阳和月亮本来就该有所不同。45而中国古代的《风俗通》也记载，女娲开天辟地的时候要造人，一开始用黄土仔细捏，但后来没有时间余力，便用绳子泡在泥里再拉起来，飞起的泥点也化成一个一个的人，于是“富贵者，黄土人；贫贱者，引绳人也”。46
然而就我们目前所知，这些阶级区别不过全都是人类想象的产品罢了。不管是婆罗门还是首陀罗，都不是诸神从某个原人的不同身体器官所创造出来的。这两个种姓阶级的区别，不过就是大约3000年前在印度北部由人类自己发明创造的一套法律和规范。而亚里士多德的讲法也有问题，奴隶和自由人之间并没有已知的生物学差异。一切都是因为人类的法律和规范，才让某些人变成奴隶，某些人变成主人。至于黑人和白人之间，虽然有例如皮肤颜色和毛发类型之类的客观生物学差异，但没有证据显示这些差异会影响到智力或道德观。
大多数人都会认为只有自己社会的阶级是自然的，而其他社会的阶级分法都实在是虚假又荒谬。现代的西方教育对种族阶级制度嗤之以鼻，如果现在有法律禁止黑人住在白人小区、进入白人学校就读或到白人医院就医，一定会引发轩然大波。但如果说的是贫富阶级，有钱人住在独立、豪华的住宅区，就读专为有钱人提供的私立名校，能进到专为有钱人提供的高档医疗机构，这一点对于许多美国和欧洲人来说，却似乎再天经地义不过。但事实已经证明，大多数有钱人之所以有钱，只是因为他出生在有钱的家庭，而大多数穷人一辈子没钱，也就只是因为他出生在贫穷的家庭而已。
*
但不幸的是，复杂的人类社会似乎就是需要这些由想象建构出来的阶级制度和歧视。当然，各种阶级制度的道德意义不一，某些社会的歧视也比其他社会更为严重或极端，但至少就目前学者研究，还没有任何一个大型人类社会能真正免除歧视的情形。一次又一次，人类要让社会有秩序的方法，就是会将成员分成各种想象出来的阶级，像是上等人、平民和奴隶；白人和黑人；贵族和平民；婆罗门和首陀罗；又或是富人和穷人。所有这些阶级，就是要让某些人在法律上、政治上或社会上高人一等，从而规范了数百万人的关系。
阶级有其重要功能。有了阶级之后，陌生人不用浪费时间和精力真正了解彼此，也能知道该如何对待对方。在萧伯纳（Bernard Shaw）的作品《卖花女》（Pygmalion，曾改编为电影《窈窕淑女》）中，希金斯（Henry Higgins）教授虽然不认识卖花女伊莉莎，但对两人之间的关系拿捏却是丝毫不需犹豫。原因就在于：他一听到她讲话，就知道她是个下层阶级的人，几乎可说是任他宰割——例如将她当作棋子，打赌可以把这个卖花女假扮成名媛淑女而不被看穿。至于如果是现代版的伊莉莎，花店小姐也得知道每天面对着来店的几十个客人，该如何才能卖出一束又一束的玫瑰和剑兰。她不可能有时间和精力做个完整的顾客身家调查，知道每个人的喜好如何，口袋又有多深。所以她得抓住某些“社交线索”，像是客人的衣着打扮、年龄、肤色（虽然这实在不太政治正确），来猜猜看这个客人究竟会是个大会计师，可能大手笔为母亲生日买上一大把的长茎玫瑰，又或是个送货小弟，只买得起一小把雏菊，想送给某个笑容甜美的柜台小姐。
当然，天生自然的能力也很可能影响社会阶级差异，但是种种不同的能力和性格常常还是会受到想象阶级的影响。关于这一事实主要有两大方面。第一，也是最重要的一点，就是大多数的能力也需要培养和发展。就算某个人天生就有某种才能，如果不经过积极培养、磨炼和运用，常常也就没什么表现的机会。但这些机会绝非人人平等，常常都是要看他们在想象建构出的社会阶级中身处何处而定。哈利·波特其实就是个很好的例子。他从小被迫与能力出色的巫师父母分离，而由对巫术一无所知的麻瓜带大，所以等他到了霍格华兹的时候，对巫术可以说是一窍不通。于是，他的故事整整写了七本书，他才真正掌握了这项独特才能的力量和知识。
第二，就算身处不同阶级的人发展出了完全一样的能力，因为他们面对的游戏规则不同，最后结果也可能天差地别。举例来说，假设是在英国统治下的印度，有四个人都有完全相同的商业头脑，但四个人分别是秽多、婆罗门、天主教爱尔兰人和新教英国人，他们致富的概率就仍然大不相同。这场经济的游戏，其实早就被种种法律限制和潜规则束缚住了手脚，根本不知道公平在哪里。
