有一次，李元吉也因此受伤。他的母陈善意阻止他别玩了，李元吉很生气。命人将陈善意杀死了。李渊率军关中，让李元吉留守太原。这：“我宁可三天不吃饭，也不能一天不打猎”。

看见别人家有漂亮的女儿和少妇，晚上打开大门，潜人家其妻女，所作所为完全是一个恶少。刘武周一路南下，还没有打到太原。李元吉一瞧事不好，带着小妾们连夜就逃了太原。

之后，李渊不但没有惩罚，反而让李元吉跟着李世民去打洛，李世民对李元吉也委以重任，在他前往虎牢抗拒窦建德的时候，并没有撤包围洛的军队，而是让李元吉率领，当然了。李世民知这个兄弟是什么平，留下屈突通等大将辅佐李元吉。

那个时候，李世民和李元吉的关系还是很好的，也可以说李建成和李世民的关系也并不张。后来李世民功劳越来越大，有了当皇帝野心，李建成也到了李世民的威胁。于是两兄弟开始了皇位的争夺。

在两位兄长各自培植自己势力的时候，李元吉行了思考。我该支持谁呢后来他得一个结论，谁当皇帝也不如自己当皇帝好。于是在他的心中打定了自己当皇帝念。

但是让李渊立自己为太，又不现实，即使李建成被废了，还有李世民呢，也不到他。支持李世民，李世民太聪明，太有能力，他手下的那些人，什么房玄龄杜如晦长孙无忌没有一个是好对付的，和李世民混自己只能是个老二，当老大别想了。

跟着李建成混，李建成这个人心，仁厚，没有李世民的脑袋和能力，他梦也不会想到“螳螂捕蝉黄雀在后”，等我和大哥联手掉二哥后，我再掉大哥，那个时候我就是皇帝了，天下我最大。父亲大哥二哥，你们不是瞧不上我吗？

我要让你们看看谁才是最后的胜利者。在李建成集团中，李元吉是最激的，常常义愤填膺的说：“我替大哥杀了他。”在某些时候他似乎比李建成好着急，典型的皇帝不急太监急，李建成有时候到李元吉很莫名其妙。李世民跟着李渊到李元吉的住宅游玩，李元吉伏兵于卧室内，将要杀李世民，被李建成阻止，李元吉很生气的说：“我这都是为了大哥你啊？”鬼知你是为了谁。

和饱经血泪的李世民比，李建成还是很善良，他的心很，不忍心对亲兄弟痛下杀手，李元吉则恰恰相反，不常理牌，不顾念私情，想就，没有什么好顾忌的，在历史上这号人最难缠。

此时李建成还顾念兄弟之情，只是想在皇位争夺战中取得胜利，是将李世民贬为庶人还是囚禁都行，总之还没有想要李世民的命，之后的一件事情，使得李建成清醒了，明白了这场争斗最终只有一个胜利者，失败者只有死路一条，于是在以后的锋中……

杨文事件武德七年（624）6月，发生了一件事情，这件事情惊动了李渊，牵连甚广，包括李建成李世民等人。这件事情就是杨文谋反案。杨文是李建成的人，在东当过卫士，很受李建成的信任，引为心腹。

后来因为李建成的关系杨文当上了庆州都督。事情要从这里开始说起，李建成受到了来自于李世民的对于皇位的威胁，积极署，扩大自己的势力，和地方的很多封疆大吏达成了秘密联盟，如燕郡王李艺（即罗艺），庐江王李瑗（宗室）等人，在政治上共退。