在组建炮队的过程中，段祺瑞结识了一个来自山东的年轻人，名叫靳云鹏。靳云鹏字翼青，生于山东省邹县（今邹城市），后迁住济宁。靳家一共有兄妹七人，靳云鹏在兄弟中居长。靳云鹏的父亲去世得早，他的母亲邱氏靠卖煎饼、当奶妈维持生计，靳云鹏他们兄妹几人也经常走街叫卖。八岁的时候，靳云鹏得以进入私塾读书，但是读了五六年以后，因为家中生活困难，只好到南关柳行街当勤杂工。1894年，靳云鹏和弟弟靳云鹗到天津小站投入新军，被分配到了段祺瑞的手下。靳云鹏有个缺陷，就是斜眼，所以只被列入“备补兵”，做一些清扫马厩、厕所的工作，但他勤恳踏实，虽然职位卑微但勤奋好学。一次袁世凯巡营的时候，发现他工作勤恳、学习认真，认定他是个人才，于是特别叮嘱段祺瑞给予提升。
在袁世凯的提点下，段祺瑞也开始留意靳云鹏，随后多次保送靳云鹏到军校学习。可以说，靳云鹏是日后成型的皖系军阀中，最早一批被团结到段祺瑞身边的嫡系，也是日后段祺瑞最为倚重的皖系“四大金刚”之首，即便是后来段祺瑞最为亲近的徐树铮，在皖系中的地位也无法和靳云鹏相提并论。除了靳云鹏，段祺瑞在小站练兵期间还结识了不少志趣相投的人，包括张怀芝、段芝贵、倪嗣冲、卢永祥、田中玉等，这些人日后都成了皖系军阀的中流砥柱。