伪满洲国军事部的前身是设在沈阳的军政部筹备处，成立于1932年3月，同年4月移至长春。它积极配合日本侵略势力，强行征兵，1937年7月1日，伪军政部与伪民政部的警务司合饼，改为治安部，推行治安第一主义 (即镇压抗日力量)。1943年4月，由于日本帝国主义侵略战争每况愈下，伪治安部又改为军事部，管辖国防、兵事、军政，将警务司改为警察总局直属伪国务院领导。
伪军事部大楼建成后，便成为武力镇压抗日民众的中心，指挥东北各地军、警、宪、特镇压人民，残酷围剿抗日力量。
该建筑于1970年整体接建一层，并把顶部改为歇山式屋顶，屋顶及檐口的琉璃瓦都改成绿色，加上后加的尺度巨大的装饰浮雕图案，因此也更加剧了该建筑存在的既有矛盾。
伪治安部曾多次改组易名，先后改名为军政部和军事部。伪军政部曾另建有顾问会议室，该建筑为二层，设有大、小会议室及娱乐、读书等功能的场所。砖木结构，立面上通过设置局部平台形成高低错落的建筑造型。人口雨棚形式独特，三面都有圆拱形的洞门，并贴粗糙的石板镶边，顶部作两坡顶。屋顶为深褐色琉璃瓦，做出挑檐口进行自由排水。其他外墙饰面为水泥砂浆抹面拉毛，连三座烟囱也作为建筑构图的手段。
