废除相权，强化君主专权。
打天下易，治天下难。朱元璋接下来面临的问题，是如何将政权牢固地控制在自己的手中。因此，重建政治、经济、社会秩序，创建保证新王朝长治久安的制度，便是朱元璋接下来将面临的主要任务。从开国到洪武十三年（1380年），朱元璋统治下的大明朝的政治制度都保留着浓厚的元朝制度的痕迹。
在洪武十三年之前，明朝的政治构架是：中央由中书省、御史台、大都督府分掌行政、监察和军事；中书省下设吏、户、礼、兵、刑、工六部；地方上设行中书省，简称行省；行省之下设府或直隶州；府之下设州、县。都司和卫、所是军事管理机构，但部分具有疆土管理的功能。例如，洪武七年（1374年）所建的乌思藏都司、朵甘都司，就是明朝中央政府用以羁縻管理青藏高原地区的最高军政机构。
李善长像
在明朝最初的十几年中，中书省是政治运作的中枢，设左、右丞相。朱元璋本人也特别重视中书省丞相的人选。第一任中书省左、右丞相，分别是开国功臣李善长和徐达。李善长富贵而骄，引起了朱元璋的不满。洪武四年（1371年），朱元璋命李善长退休，表明他对中书省丞相权力过大的情形开始有所警觉。
李善长之后，朱元璋对丞相的人选举棋不定。他找刘基商量，问他对杨宪、汪广洋和胡惟庸等人的看法。刘基说，杨宪“有相才无相器”；而汪广洋“褊浅”，缺乏宰相“持心如水”的度量。至于胡惟庸，刘基说，如果用驾车来比喻治理国家的话，他担心胡惟庸会将车打翻。然而，由于没有更合适的人选，朱元璋还是提拔汪广洋为中书省右丞相，胡惟庸为中书左丞。汪广洋是一个好酒的文人，没有什么政治头脑，中书省大权渐归于胡惟庸之手。洪武六年（1373年）七月，胡惟庸成为中书省右丞相，后来升左丞相。从洪武六年到十三年（1380年），胡惟庸负责中书省事务八年之久，是明初任职时间最长的宰相。
胡惟庸像
胡惟庸是有一定的才能的。《明史》也说，朱元璋“以惟庸为才”。然而，胡惟庸的品行却很恶劣。吴晗先生在1934年所撰写的《胡惟庸党案考》中曾说：“胡惟庸的本身品格，据明人诸书所记是一个枭猾阴险、专权树党的人。以明太祖这样一个十足地自私惨刻的怪杰，自然是不能相处在一起。”
随着权力的膨胀，胡惟庸“生杀黜陟，不奏径行”，还刻意结纳一些有罪而遭惩罚的勋臣，密相往来。胡惟庸还曾私下扣押犯罪的人所藏的名画——宋代画家夏珪的《长江万里图》，后来被朱元璋从胡惟庸府中抄出，成了他贪赃的证据。
胡惟庸本人的胡作非为，最终引爆了洪武十三年皇权和相权的冲突。这年正月，胡惟庸被杀。以胡惟庸之死为标志，明代政治体制发生了重大转折。
朱元璋杀胡惟庸，表面上是因为胡惟庸胡作非为，归根结底却应该是皇权与相权的冲突。自秦朝以来的一千多年中，宰相是辅助君主执政的大臣，是统领百官、总揽全国政务的最高行政长官。在不同朝代，宰相的名称和职权虽然会有所变化，但其作为皇权和官僚制度之间的枢纽的性质却没有变化。相权与皇权的关系是矛盾的：一方面，相权是皇权的延伸，是协助皇帝治理国家的权力的伸展；另一方面，相权却又制约或威胁皇权。纵观中国历史，在皇权与相权博弈的过程中，皇权日尊而相权日衰。然而，权力欲极强的朱元璋，不能容忍任何对皇权的挑战，所以他选择了废除宰相制度。
处死胡惟庸后，朱元璋决定废除中书省，同时革除大都督府。他下诏说：“朕自临御以来，十有三年矣。中间图任大臣，期于辅弼，以臻至治，故立中书省以总天下之文治，都督府以统天下之兵政，御史台以振朝廷之纪纲。岂意奸臣窃持国柄，……蠹害政治，谋危社稷。……朕欲革去中书省，升六部，仿古六卿之制，俾之各司所事。更置五军都督府，以分领军卫。如此则权不专于一司，事不留于壅蔽。”
中书省废除后，其职权一分为六，由吏、户、礼、兵、刑、工六部分掌；大都督府的权力则被一分为五，由中、前、后、左、右五军都督府分掌。此外，朱元璋在洪武十一年（1378年）增设通政司，掌内外章奏；洪武十四年（1381年）改御史台为都察院。这样，之前中书省、御史台、大都督府向皇帝负责的政治架构，变成了五军都督府、六部、都察院、通政司等十三个机构共同向皇帝负责的格局。
后来，朱元璋在《皇明祖训》中强调他废除宰相制度的目的。他说：“我朝罢丞相，设五府、六部、都察院、通政司、大理寺等衙门，分理天下庶务，彼此颉颃，不敢相压，事皆朝廷总之，所以稳当！”所谓“事皆朝廷总之”，就是一切政务都由皇帝总揽，一切权力集中在皇帝的手中。
朱元璋在《皇明祖训》中还规定：“以后子孙做皇帝时，并不许立丞相。臣下敢有奏请设立者，文武群臣即时劾奏，将犯人凌迟，全家处死。”如此严厉的规定，使得在中国历史上延续了一千五百多年的宰相制度从此废除，再也没能恢复。
朱元璋还加强了六科给事中和监察御史的职权。六科设于午门之外的东西朝房，负责驳正六部的违误，都察院监察御史职司进谏，合称“科道”。科道官员品低而权重，可以弹劾各级官员。在地方上，朱元璋在洪武九年（1376年）废行中书省，改设布政使司，掌民政。布政使司与掌刑狱的按察使司、掌军事的都指挥使司合称“三司”。“三司”彼此不相统属，各自直属中央。
废宰相之后，皇权与相权合二为一，君主专权得到了空前强化。然而，从政治运作的角度看，废除宰相却造成了一系列恶果，例如宦官专权的问题。明末清初的著名学者黄宗羲在其《明夷待访录》中感叹道：“有明之无善治，自高皇帝罢丞相始也。”而且，朱元璋可以凭其超强的工作能力，把大权独揽于身，但他的子孙后代却不能与他相比，从而留下了隐患。朱元璋处心积虑的废宰相之举，其实并不能化解封建末期的危机。
