吴俊升十七岁时投奔设在康平大屯的清军捕盗营丁春华把总手下，充当伙夫。
三年后，自备马匹和武器，当上了一名骑兵。吴酷爱军旅生活，处事圆滑，1887年由什长而哨长。
因受当过马贩的父亲影响，以习马性、识马行、善相马闻名营内外。
1897年升为哨官，成了丁春华的得力助手。
清朝末年，辽西人民困苦异常，土匪猖獗，拉杆子立山头，四处抢掠。
吴俊升在讨伐胡匪（马贼）、蒙匪战斗中，常为军中先锋，屡立奇功，于1906年升任奉天后路巡防营统领，调驻郑家屯。
1907年6月，张作霖移驻郑家屯，两人皆行伍出身，一见如故。
辛亥武昌首义后，吴俊升奉总督赵尔巽之命，率部赴奉天（今沈阳）拱卫省垣，曾与张作霖联名致电袁世凯，请率兵勤王。
1913年2月，吴被任命为奉天第二骑兵旅旅长，5月加陆军中将衔，11月到林西驻防。
1914年2月，吴俊升晋升陆军中将，3月兼洮辽镇守使。
1915年袁世凯大搞帝制自为，吴曾递请愿书劝进，12月被授二等男爵。
1916年日军悍然挑起中日军事冲突，制造“郑家屯事件”，日方提出种种无理要求，北京政府接受驻华日本公使的“警告”，吴俊升被迫屈服承认，赔礼道歉。
1916年5月，二十七师师长张作霖与二十八师师长冯德麟为争“奉天王”秣马厉兵，吴俊升向张作霖表示：“若大帅想打（指打冯），俊升带兵打前敌。”
冯因附张勋复辟被解职，由张作霖兼任二十八师师长。
1917年6月，张作霖将后路巡防营与骑兵第二旅合并，改编为陆军第二十九师，任命吴俊升为师长，以报答吴助臂之功。
吴对张表示：“虽不能同生，但愿同死。”同年10月，吴俊升受张作霖派遣进驻齐齐哈尔，解除黑龙江省驻军旅长巴英额、英顺的兵权。
1919年7月，吉林督军孟恩远被解职，以鲍贵卿继任，孟不服，孟的外甥吉林师长高士傧请收回罢免孟的成命，并兴师讨伐张作霖。
张任命孙烈臣为东三省南路总司令，吴俊升为北路总司令，进行夹击，高士傧被撤职查办，孟只好交出吉林政权。
1921年3月，孙烈臣调任吉林省督军兼省长，由吴俊升署黑龙江省督军兼省长，6月加陆军上将衔。
从此，以江省为
…。。