大青山位于绥远省境内的阴山山脉中段，东西长700余里，南北宽百余里。大青山地区系指大青山脉南北绥远省中部和东部的广大地区。这里物产丰富，交通便利，平绥铁路横贯东西，成为连接中国华北和西北的重要纽带。因此，在抗日战争中，大青山地区对敌我双方都具有极其重要的战略意义。

日本占领绥察并建立起伪蒙疆政权后，即把大青山地区作为其殖民统治的心脏地带，将驻蒙军主力、特务机关以及伪蒙古军主力都集中在这里，企图控制这一地区，从而以蒙疆地区为后方基地，向东与伪满洲国相连，向西进军中国大西北，向北形成对外蒙古和苏联进行军事进攻的前沿阵地，向南对我晋西北根据地包围夹击，并威胁陕甘宁边区。

对中国的抗战，特别是中国共产党领导的敌后游击战争来说，大青山地区的战略地位亦十分重要。控制了这一地区，就能够牵制日军兵力，阻止日军西进南下，配合正面战场作战；就能够保证陕甘宁边区的安全，并推动整个晋绥抗日战争的发展，进而与华北敌后各抗日根据地相呼应，形成更加广泛的敌后战场；就能够动摇日本在内蒙古的殖民统治，树立起蒙汉团结抗日的旗帜，粉碎日本侵略者对中国各民族实行“分而治之”的阴谋，在抗日反攻阶段到来之际，形成战略反攻的前沿阵地。同时，对于建立国际交通线，沟通与苏联、外蒙古的联系，加强国际反法西斯统一战线，也有重要意义。

中共中央从抗战局势的发展和战略需要出发，适时地作出了创建大青山抗日游击根据地的战略决策。

1938年3月30日，毛泽东、滕代远致电贺龙、关向应等，询问能否在大同以北之兴和、商都、康保地区建立根据地，能否沿大青山脉组织一支游击性质的骑兵支队。4月18日，毛泽东、滕代远再次致电贺龙等，要求就能否在平绥路以北，包括丰镇、集宁、天镇、阳高之北部及兴和、尚义、商都、康保、新民（即化德）、陶林、武川直至张北等县这一广大地区，创建游击根据地问题，迅速调查汇报。5月14日，毛泽东致电朱德、彭德怀及贺龙、关向应、肖克等，明确指示“在平绥路以北沿大青山脉建立根据地甚关重要，请你们迅即考虑此事。”6月10日，朱德、彭德怀将调查结果转报毛泽东，说明大青山地区的战略重要性和气候寒冷等特点，建议组建骑兵或调陕北骑兵团前往，或由一二○师另派步兵。6月11日，毛泽东复电朱德、彭德怀、贺龙、关向应、肖克，指出在大青山地区，“开始建立根据地时，敌人知其重要意义，必多方破坏，故部队须选精干者，领导人须政治军事皆能对付，且能机警耐苦，而有决心在该地创立根据地者”。

1938年6月，八路军一二○师根据中共中央和毛泽东的指示，着手组建八路军大青山支队，准备挺进大青山地区，开辟游击根据地。大青山支队由一二○师三五八旅七一五团和师直骑兵营一连组成。由三五八旅政委李井泉任支队长兼政委，三五八旅参谋长姚喆任参谋长，三五八旅七一四团政委彭德大任政治部主任。七一五团团长王尚荣，政委朱辉照，参谋长李文清。

八路军大青山支队组成后，在山西五寨举行誓师大会，而后出发进至平鲁、左云、右玉、怀仁、大同及长城沿线，发动群众，开展游击战，积极准备挺进大青山。

与此同时，第二战区民族革命战争战地总动员委员会（简称战动总会），组建战动总会晋察绥边区工作委员会（简称总动委会，主任武新宇），下辖由太原成成中学师生组成的战动总会抗日游击第四支队（简称四支队，支队长刘镛如），准备随八路军大青山支队挺进绥远敌后，参加创建大青山游击根据地的斗争。为加强对总动委会工作的领导，中共晋西北临时区委组建中共大青山特委，领导绥远敌战区动委会的工作，并开展地方党的工作。大青山特委书记武新宇，委员有李维中、武达平、张晋勋。

1938年7月15日，八路军总司令朱德发出进军大青山的命令。7月底8月初，八路军大青山支队、总动委会及第四支队2300余人，开始向大青山进军。由于日伪军堵截围攻，主力部队经过两次北上才于9月初进入大青山腹地大滩一带。10月初，担任掩护任务的大青山支队一营也胜利越过平绥路，与主力部队会合于速勒图。至此，大青山支队及总动委会、四支队胜利完成挺进大青山的任务。不久，在面铺窑子与杨植霖等领导的蒙汉抗日游击队胜利会合。

大青山支队挺进绥远敌后，在极端困难的环境中，在东起集宁灰腾梁，西到包头、固阳，北起达茂、四子王旗，南到黄河、长城的广大区域，开展灵活多变的游击活动。9月3日，夜袭陶林县城（今乌兰察布市察哈尔右翼中旗政府所在地），歼灭伪军一部。9月9日，力克绥中重镇乌兰花，俘虏伪蒙军第七师1个加强连和四子王旗保安队180余人，缴获机枪9挺、步枪80余支、战马100匹。9月中旬，组织蜈蚣坝伏击战，击毁敌军车4辆，毙、伤敌80余人。大青山支队三战三捷，声威大振。所到之处，宣传中国共产党联合各民族各阶层各党派共同抗日的主张，讲解党的民族政策，建立动委会组织，深受各族各界群众欢迎。仅一个多月时间，就开辟了归（绥）武（川）公路以东，平绥铁路以北，集宁至土牧尔台一线以西的绥中游击区。而后又兵分两路，一路挺进绥西，一路挥师绥南。支队三营、二营五连、四支队二连及总动委会部分干部，在李井泉指挥下，进入武川、萨拉齐、固阳三县交界处的后脑包、官地一带，开辟绥西游击区。敌闻讯以4倍于我的兵力前来围剿。八路军与敌在后脑包激战一天，击退敌数次进攻，首战告捷。不久，三营又在王尚荣率领下，先后取得陶思浩、石拐镇两役的胜利。陶思浩一役消灭日伪军百余人，缴获大批粮食和军用物资。石拐镇之战俘敌300余，毙伤敌百余。绥西三战皆捷，顺利打开了工作局面。四支队密切配合部队开展群众工作，建立起动委会和救国会等群众团体，形成以巴总窑子为中心，归武公路以西，包括武川县、归绥县西部，萨拉齐县、固阳县全部，托克托县部分地区和包头以东地区的绥西游击区。开赴绥南的支队一营三连、四支队一连和部分动委会工作人员，在邹风山等率领下，以蛮汗山为中心，活动于平绥铁路以南，包括凉城县、清水河县、和林格尔县及归绥县、托克托县、丰镇县的部分地区。部队根据当地特点，由步兵转为骑兵，先后打击长期骚扰这一带的几股惯匪，除害安民，赢得了群众的信赖，很快站稳脚跟。此后，大青山支队又先后消灭康德胜、夏军川、红蚂蚁、三拐子、肖顺义等长期扰民的土匪武装，巩固刚刚开辟的游击根据地。到12月，八路军北上敌后建立大青山抗日游击根据地的任务以绥中、绥西、绥南游击区的相继开辟为标志而胜利完成。