1912年2月12日，清帝溥仪宣布退位。消息传来，冯玉祥于大年初三（2月20日）登上去北京的火车。冯玉祥到了北京，先在西单横二条的京畿军政执法处住下，在此与李鸣钟不期而遇。李其时正在执法处当卫士，是冯到北京后见到的第一位他的“二十镇”袍泽。
2月29日，驻防京畿的陆军第三镇发生兵变，北京四城火光冲天，变兵大肆抢掠。兵变平息后，袁世凯对京师的拱卫不再信赖北洋六镇，决定编练中、前、左、右、后5路备补军，即禁卫军之前身，委陆建章为左路备补军统领。
左路备补军辖中、前、左、右、后5营，冯玉祥被任命为前营（二营）营长;每营辖中、前、左、右、后5哨（连），哨官相当连长;每哨辖3排，每排辖3棚（班）。
虽然冯玉祥被委以二营营长，手下还没有一兵一卒，便着手去直隶景县招募新兵，随行的有中营（一营）前哨哨长宋哲元。3月5日，冯玉祥前往景县募兵，到10日为止，顺利招满一营新兵。应募的新兵全部是贫苦农民和手工业者，曾经当过兵的一个不要。要甄别后者，冯玉祥就提出了一个简易办法：令应募者站成一列，突然大呼一声口令“立正”，大凡当过兵的，会本能地做出“立正”动作。此次景县招募的新兵中，有不少人日后成为西北军著名将领，如孙良诚、刘汝明、佟麟阁、程希贤、韩占元、刘玉山、李长清、曹福林、安树德、张俊声、陈新起、张德顺等。
冯玉祥带队回到北京，于正式编队之前，先在南苑军营对新兵进行为期5天的简单训练。这时的新兵没有军装，更没有武器，一个个蓬头垢面，鹑衣百结，走到街上，犹如乞丐。用冯自己的话说：“怎么看也像一群叫花子，我自己就像一个花子头。”
冯营在南苑滞留期间，仍有人前来应募，如石友三、过之纲、冯治安等未来的西北军将领。
在进行术科教学中，为便于士兵牢记训练要领，冯玉祥亲自编写了三首军歌：《战斗动作歌》《射击军纪歌》和《利用地物歌》，这三首歌后来成为冯军著名的“三大军歌”，歌词摘录《典范令》的要点，曲谱则借用基督教赞美诗的旋律。
半年之后，冯营告别三家店，移驻北京平则门（阜成门）内，仍一边训练，一边守护设在北京城西南隅工部王恭厂的旧火药库。冯玉祥为官兵编纂一本名曰《精神书》的小册子，其中分“道德精神”、“爱国精神”和“军纪精神”三部分，凡80余条，每条都是格言式或语录式的条目，“有过必改，过则勿惮改。人非圣贤，孰能无过？过而能改，胜于无过。”“古今英雄，百战而不死，非是怕死，乃是真不怕死。”这些条目官兵都要朝夕诵读，会背会讲，此后的西北军也是如此。以致后来祖父韩复榘主鲁时期，还能对《精神书》倒背如流。
1913年3月，一位19岁的学生在北京投效左路备补军第二营中哨充亲兵，这位年轻人就是后来的西北军名将葛金章。
这年春天，左路备补军训练告一段落，二营一部留在城里担任勤务，负责城防，兼为外交部大楼等政府重要机关站岗;一部仍返回三家店守护陆军部军械局。韩复榘随营部驻城内。9月，左路备补军奉命改编为“京卫军”，下辖左翼第一团和左翼第二团，陆承武营扩编为左翼第一团，陆任团长;冯玉祥营扩编为左翼第二团，冯任团长。
为了扩编部队，冯玉祥带上李鸣钟等几位官佐头目赴河南郾城一带募兵。李是河南沈丘县人，不到两个星期，便招足1600名新兵，其中有吉鸿昌、梁冠英、张凌云、田金凯、赵廷选、魏凤楼、程心明、雷太平、雷中田、田春芳、李团沙、李曾志等，这些河南籍的新兵后来都成为西北军第二代著名战将。
另外，席液池、韩德元（韩占元的胞弟）、丁汉民、曹梦九等虽不是这次招的，不够兵格，但被收在军营伙房内当伙夫，3个月后补为哨兵。冯玉祥在第十六混成旅第一期模范连当学兵期间，祖父韩复榘是他们的上级排长。
不久，冯营奉命开往北苑训练两个月，其间新兵开始编制成营，每人领到一套黄色布军装（戏称“黄马褂”），每哨发90支破旧的老枪，分单筒毛瑟步枪和双筒毛瑟步枪两种。冯治安初为伙夫，后补前哨哨兵。石友三初为马夫，后补左哨哨兵。
5月中旬，冯营开往京西三家店，一边训练，一边守护陆军部军械局。
这时，居家的祖父韩复榘听说老管带冯玉祥在北京又当上营长，时下正在邀集旧部，赶紧于6月初离家，很快就在京西三家店找到了冯玉祥。冯玉祥先安排祖父在二营任什长，未及1月，又让他做起老本行———营部司书。
冯营在三家店驻扎半年，其间又有一些前二十镇袍泽前来投效，如赵席聘、谷良友、张维玺、马式彬、冯安邦等，初皆委以什长，旋即升为哨长。是时过之纲、孙良诚、韩占元、佟麟阁、刘汝明、程希贤、李长清、刘玉山、席液池等皆升为什长。
冯玉祥首先在营中成立三个讲堂：官长讲堂、头目讲堂和特别兵讲堂。祖父韩复榘在官长讲堂听课。冯玉祥又创建“拳击技术班”和“器械体操班”，旨在加强官兵体质锻炼。什长以上官佐有“图上战术课”。
不久，冯玉祥把新兵带回北京，先安置在顺治门（宣武门）外的一座大庙里住下，随即编制成团。
“老二营”扩编为团后，祖父韩复榘向冯玉祥明确表示：志在带兵打仗，不愿再做案头工作，冯玉祥便调他到二团二营六连任排长。
冯团编制完成后，即开往北苑训练3个月。1914年初，冯团又调进城里朝阳门内东四禄米仓驻防。由于这里长年无人居住，环境肮脏阴冷，很多官兵都病倒了。不久，追缴白朗的命令下达，冯玉祥就带着这支刚组建的部队出征了。
