1922年，第一次直奉战争后，冯玉祥任命孙连仲为炮兵团长。随着冯玉祥军事力量的发展，出现了一批他所亲信的少壮将领，所部5个团长后来被称为5虎，13个营长被称为十三太保，包括孙连仲、石友三、孙良诚、刘汝明等。

1924年秋，冯玉祥联合胡景翼、孙岳发动“北京政变”，推翻了直系新头目、贿选总统曹锟。

事变之前，冯玉祥提升孙连仲为卫队旅旅长，管辖手枪团、学兵团、炮兵营三个单位。孙亲自率手枪团化装为接运粮饷部队，由古北口潜回北京。10月22日晚，孙连仲的参谋长王德晋宴请曹锟的卫队团团长张汉臣。

当张汉臣、王德晋等人饭后打牌时，孙连仲指挥手枪团包围了总统府，缴收警岗枪支，派兵接替了警位。其时曹锟卫队团官兵多在酣睡中，在毫无防备的情况下，被全体解决。

事变后，孙连仲调任国民军第一军炮兵旅旅长。不久，冯部扩军，孙连仲又升任了骑兵第二师师长。

1937年，华北战场形势空前严峻，蒋介石命孙连仲为第二集团军副总司令（总司令刘峙）兼第一军团司令。

8月10日，孙部与日军河边旅团在良乡西南之窦店对峙。15日起，战斗日趋激烈，孙将全部兵力投入，迭予日军重创。由于敌军炮火猛烈，孙部阵地被摧毁。不得已乃行后退。

8月下旬，转进至马头镇、琉璃河一线。时日军已占南口，敌指挥官板垣征四郎指挥三个师团向平汉线进攻。9月15日，固安失守，孙连仲率部由琉璃河转进，在涿县与敌激战。

在战斗中关麟征、万福麟等部战败南退，孙部在涿县处突出地位。日军正面进攻多次不逞后，采用从左翼迂回包围战术，孙部池峰城师在坨里附近南大寨山区被敌突破。孙部被迫转进冀西南，保定失守。

这年10月，日军川岸师团直扑山西娘子关，直接威胁太原。中**队决定组织娘子关战役，以阻击日军。此时，孙连仲部正撤至娘子关附近，奉命参加这次战役，担负总预备队任务。

川岸师团以一部攻击娘子关正面，主力则进攻娘子关右侧的旧关。旧关地理位置重要，关系这次战役的成败。由于中**队在旧关一带布防薄弱，所以敌军一举占领了该地。

第二战区副司令长官黄绍玻焦急万分，立即下令中央军第三军曾万钟增兵反攻，决心收复。不料日军增援部队赶到，情况十分危急。此时，孙连仲率第二十七师赶赴前线，他严令部下沉着作战，相机歼敌，屡败日军，把战局稳定了下来。

由于敌军继续增援，惨烈的拉锯战争展开了。激战两周后，敌军集中炮火猛轰孙部阵地，掩体工事被摧毁。加以友军伤亡过大，无力配合，且先行退出，孙部被迫弃守。娘子关失陷了。

在华北保定地区作战中，第二集团军总司令刘峙畏敌如鼠，怆惶逃遁河南，时人讥之为“长腿将军”。蒋介石为树军威，撤刘峙之职，而以孙连仲代之。但孙所辖之军仍是原有部队，几番激战，伤亡甚大。

他到河南后立即派人到豫东、鲁西一带招募兵员，还吸收了不少从家乡河北逃亡出来的青年学生，在许昌设立干部训练所，培养干部，充实下级军官队伍。