1368年，朱元璋建立的明朝，最终推翻了元朝的统治。只是黄河中下游地区，因为饱受黄河泛滥之苦，又是反元斗争的重要战场，以致人烟稀少，如何能让这一带在满目疮痍中实现重建，成为明朝廷的重要任务。1388年，户部郎中刘九皋上书，提出了移民的建议。具体来讲就是河北等地，地广人稀，而山东、山西人口较多，可以移民河北，以促发展。朱元璋对于移民的建议非常重视，不过他认为山东地盘大，相比来说，人口不算多，因此，他批准了山西向黄河中下游移民的计划。
实际上，人口稀少的重灾区是今天的河北及河南，而那时山东的中东部地区人口尚可，但位于黄河下游的鲁西地区人口较少，因此，山东的东昌府（今聊城）以及兖州府的菏泽，也跟河北、河南一样，成为移民的目的地。在1389年和1392年，明朝官方就曾两次组织山西移民迁到东昌府各州县及菏泽，这就是历史上有名的洪洞县大槐树移民。
还有不少山西移民被迁到了济南府和青州府的北部地区，也就是今天的滨州、东营及附近地区，这里是黄河的入海口，人口自然也是稀少。不过这一带移民的族谱都记载他们来自于河北枣强，考虑到明朝初年时，枣强人口不多，很可能还是山西移民迁到枣强，再由枣强迁到山东的（有的族谱也是这样记载的）。
如果说朱元璋从山西移民填充黄河中下游，是解决有关地区人口太少的问题，那么，把苏南人口向苏北迁移，则更多是为了巩固自己的统治。话说，当年与朱元璋争天下的张士诚的大本营就在苏南，由于张士诚善待百姓，虽然败亡，但苏南百姓对他依然念念不忘。正好淮北人口较少，担心苏南望族造反的朱元璋，就正好一举两得，将苏南几十万百姓迁到了淮北，这就是著名的“洪武赶散”。而这些苏南移民，也有一些迁到了山东南部的临沂、枣庄等地，至此，山东也有了来自江苏的移民。
