西晋时为并州、司州，并州有新兴、雁门、乐平、上党四郡及西河国、太原国，司州有河东郡。
304年，匈奴首领刘渊在左国城（今离石）起兵，自称汉王。此后，由于连年战乱，山西的经济遭到了严重破坏。
后来山西地经历羯族的后赵，汉族的冉魏，鲜卑的前燕,氐的前秦，羌的后秦，417年东晋北伐破长安后也短暂的占有今天的山西地。
383年，西燕慕容永称帝，置建兴郡（今晋城市全境），建兴是南北冲要，地势险要，高欢曾以司马子如为建兴太守，令其以三千骑兵镇守建兴。
386年。鲜卑族拓跋珪建立了北魏，在平城（今大同）建都。436年四月，北魏灭北燕降服高句丽等边疆政权，统一除了今天辽东以北的北方。后来，北魏分裂为东魏和西魏，东魏的实权落在大将高欢的手中。550年，高欢之子高洋取代东魏，建立北齐。高氏父子定都于今河北邺城,以晋阳为别都。北魏时佛教兴起，寺院有三万所，和尚尼姑多达200万。云岗石窟在这一时期（453年—495年）修凿完工。交城的玄中寺也于472年开始创建，成为昙鸾大师所创佛教净土宗的诞生地。
北魏永安二年(529)，改建兴郡，置建州，领四郡，驻高都（今晋城市城区与郊区）。
北齐天保七年（557），置建州道行台，领三郡，驻高都。
北周宣政元年（578）分上党郡地置潞州（治今襄垣县南），上党郡改隶潞州。
