北汉刘崇依靠北方的契丹，和北宋王朝相对抗。960年，后周大将李筠占据泽州，宋太祖御驾亲征大败李筠。979年，宋太宗赵光义率领大军灭北汉，并将晋阳城放火烧毁。982年，宋王朝派大将潘美在今太原市区重建新城。
北宋初期，山西属于河东路，再度出现了繁荣景象。太原产的铜镜和剪刀远销各地，遐迩闻名。泽、潞二州所产铁器、硫磺文明天下，河东所产盐行销各地，同时，山西境内已开始用煤作燃料。
南宋以后，战乱不止，北方经济遭到严重破坏。山西因有太行山为屏障，受战火摧残比其他地方相对较少，经济文化还比较发达。南宋一朝山西地都属于金国控制。
元朝时属于中书省河东山西道宣慰司。
