三国、西晋时,今乌兰察布市地区基本上属于鲜卑拓跋政权统治区。东晋十六国时期,代建国二十九年(366)时,今市境为代(鲜卑拓跋氏)统治区域;前秦建元十八年(382),乌兰察布市境为前秦(氐族苻氏)政权统辖区;魏登国十年(395),今市境为魏政权统治活动的重要地区。
北魏太延五年(439),北魏灭北凉政权统一北方地区后,开始修筑长城,设置军政重镇,防御北方柔然族南侵。在今乌兰察布市地区设有抚冥镇(治所在今四子王旗乌兰花镇土城子古城)、柔玄镇(治所在今兴和县台基庙乡境。另有记载说在今察哈尔右翼中旗塔布忽洞乡;还有说在今察哈尔右翼后旗白音查干古城)。北魏太和二十一年(497)时,北魏设置有:凉城郡(治所今凉城县岱海东北麦胡图乡古城),领参合县(治所在今凉城县西南)、沃野县(治所在今凉城县弓坝河西南岸)、旋鸿县(治所在今丰镇市北部),这1郡3县隶属于恒州(治所在今山西省大同市;另有记载,州治所曾在今凉城县双古城乡双古城村古城)。