幕府的出现标志着日本皇权被武家政治取代，在第二个室町幕府建立之前，第一个镰仓幕府已经统治日本一百多年，至1333年的时候镰仓幕府这艘大船早已是千疮百孔，日本迫切需要一场变革。
此时正值中国元朝末年，已经不是那个有能力远洋攻击日本的元朝，脱欢帖木儿在这一年继承大统，是为元顺帝，而一衣带水的日本也将迎来改朝换代。眼见镰仓幕府的统治即将崩溃，以皇室为首的公家势力发动倒幕战争，随着幕府大将足利尊氏的临阵倒戈，镰仓幕府宣布终结。
董卓死了还有曹操，汉献帝不会高兴太久。日本天皇就像汉献帝或东周天子，渴望推行“王政复古”，也就是收回中央权力，而足利尊氏更像曹操，一心取代镰仓幕府成为新的实际统治者。
双方的嫌隙最终引爆战争，当足利尊氏讨伐镰仓残余势力并得胜还朝之后，顺势囚禁天皇。随后天皇逃出京都，并在京都以南的吉野另立朝廷，吉野位于今天日本奈良县中部，距离京都并不算远，但日本却由此进入南北朝时期。
天皇逃跑时带走了象征皇权的三神器：草雉剑，八咫镜和八尺琼勾玉，当时尊奉南朝为正朔的大名并不在少数，南朝鼎盛之时占据着本州岛的三分之一、九州岛和四国岛的全境，相当于今天日本国全境的五分之三。
为了时刻监视南朝的动向，足利尊氏就不能仿效镰仓幕府将治所放在远离京都的关东，而是在京都室町殿开设幕府，这也是室町幕府名字的由来。
然而作为武士的龙兴之地，关东实在是太重要了，如果放任不管，难免在日后生出变故，所以足利尊氏又派出自己的次子足利基氏统领关东诸国，这一职位被称为“关东公方”或“镰仓公方”。关东公方的权力非常之大，在所辖区域可以自行其是，事实上就是一个小幕府。再加上关东公方与幕府一系同宗同源，所以公方本人也是幕府将军强有力的竞争人选。
室町幕府的建立，源于反对镰仓幕府的诸多倒幕势力，足利氏对其他手握重兵的大名没有绝对的掌控力。换言之，大名集团承认足利氏为己方阵营中的翘楚，但足利氏并无权力对这些大名进行生杀予夺，甚至在许多国家大事上，幕府都必须听取这些实力派大名的意见。此时南朝的威胁尚在，为了争取“地头蛇”们的支持，室町幕府不断下放权力给各地大名，这也促成了后来的日本战国乱世。
当时日本全境分为六十六个令制国，强大的大名比如山名氏，一家就独占十一国，被世人私下称为“六分之一殿”，其他实力派大名如大内氏占据六国，这些都足以对室町幕府的统治构成实质性威胁。类似的情形在中国历史上也不乏出现，面对“支强干弱”的情况，中国天子惯用的手法是削藩，有的成功了，如汉武帝推恩令；有的失败了，如建文帝靖难之役。
当室町幕府传至第三代将军之时，确实通过削藩打击过地方豪强，但后续继任的将军却无一拥有足以匹敌祖先的权谋和威望，日本进入战国时代。有人说日本战国就像村镇互殴，规模远不如中古的战国，战国七雄随便一个都能统一日本。
当天下纷争已成定局之时，幕府迎来了最后一任将军，在其继任的第五个年头，枭雄织田信长将其放逐，室町幕府自此不复存在。日本进入织田信长与丰臣秀吉称霸日本的时代，也就是日本战国的顶峰时期。