1928年7月17日晚，张作霖在皇姑屯车站遭日本人暗算身亡。杨宇霆的处境更为复杂。12月29日东北易帜，杨宇霆坚决反对，他认为不应该服从蒋介石，因此与张学良酿成新的矛盾。
对张学良他俨然以保护人的身份自居，经常以周公辅成王的典故自诩，规劝张学良戒毒，批评他不问政事。虽出好心，但年轻气盛的张学良却不买他的账。
日本人也趁机利用正友本党和混迹东北的中国流氓处处诽谤杨宇霆，离间张杨关系。他们送给张学良一本《日本外传》，将张学良比作日皇丰臣绣吉，将杨比作篡位的日相德川。
暗示张学良，杨宇霆是他身边的隐患，要及早除掉。张学良中了奸计，但仍犹豫不决，三次掷银元问卜后才下了杀杨的决心。
1929年1月10日晚，杨宇霆下班回家，听说有帅府请他去打牌的电话，没有吃饭便驱车前往。谁料一进帅府，就同黑龙江省长常荫槐一起人车被扣，以吞扣军饷，贻误戎机，图谋不轨等莫须有的罪名，被张学良事先安排好的警务处长高纪毅、副官谭海等枪杀在帅府会客厅东大厅(老虎厅)。
