唐高宗即位以后，高阳公主、房遗爱便联络与高宗不和的薛万彻（妻为唐高祖第十五女丹阳公主）、柴令武（柴绍子，妻为太宗第七女巴陵公主），打算发动政变。废掉高宗，拥立荆王李元景（高祖第七子）为帝，但是事不机密。计划被泄露，一干人都被逮捕。高宗派长孙无忌审理此案，长孙无忌借此机会将吴王李恪也牵连进来，李元景、李恪、房遗爱、高阳公主、薛万彻、柴令武、巴陵公主等全部被杀。
这房遗爱现在看来是有够悲剧的，自己老婆居然出去偷人，这可是男人的奇耻大辱啊,而且房遗爱还没有什么反应，这就算是房遗爱是天阉，但也不应该这样。
绿帽子这是个男人都不会带的，何况以当时房家还没失宠，高阳公主要是真的出轨了，房遗爱应该是能够反击的，最少以房价和李世民的关系。
这种事情发生后李世民绝对不会姑息高阳公主的，最少房遗爱提出休妻那是应该能够通过的，不然这种奇耻大辱，不可能不让其它的驸马没有想法。
特别是那些功勋子弟担任驸马，这事关家族名声，不可能就这么算了。
就算是李世民在疼爱高阳公主，房遗爱在喜欢高阳公主也不行，这可是关系到皇室的脸面以及房家的声誉，还有就是与个驸马家族的关系处理。
而且既然高阳公主都已经让房遗爱带了绿帽子了，这个房遗爱怎么可能不动于衷的和她一起策划谋反了，这么严重的事，房遗爱不可能这么没头没脑的去参加。
何况当时已经是太宗李世民和高宗李治已经顺利的完成了政治上的交接，又有老臣长孙无忌和程咬金这样的老家伙坐镇朝廷，就以他们几人的实力更本就不可能发动政变，就算发动也不可能成功的，这里面要说没有猫腻那是不可能的。
而且要知道房玄龄的对于自己的儿子是相当看重的，房玄龄一共生了三个儿子。
房玄龄给三子分别取名“遗直”、“遗爱”、“遗则”，希望他的后代能‘ 学为人师，行为世范，仁爱传家‘。玄龄公身教言教都很勤，家训、家规也很严厉。
房玄龄给三子取名实是各有深意，其中，为长子取名，是因玄龄公一向倾慕“袁忠公累世忠节”，同时因春秋时晋国贤者羊舌肸，博议多闻，品德高尚，能以礼让国，是当时晋国的贤臣，孔子称之为“遗直”。以古贤人的雅号为子命名，玄龄公对其期望可谓高矣！
如此之严的家教之下怎么回让房遗爱变得一个不学无术的纨绔子弟了。
这也太看不起房玄龄了吧，何况史书上记载的玄龄公辞世后，房遗直承袭其“梁国公”爵位和偌大门庭。高阳公主一向讨厌这个大伯，便要驸马房遗爱与哥哥分家。房遗直不肯分出家产，还将房遗爱痛骂了一顿。
高阳公主大怒，便跑到皇宫里，对父亲唐太宗告房遗直的状，说他常对皇帝口出怨言，心怀不轨。太宗调查之后，发现是高阳公主任性胡为，不禁大为恼怒。将她训了一顿。经过高阳公主的几次诬告，房遗直害怕，自己写奏折要求将爵位让给房遗爱，唐太宗怕坏了规矩，并没答应。
这明显就看出了房家的家教还是很不错的。相对的就能看出这李世民对于自己的后代的教育是严重的失败的，他宠爱的女儿高阳公主做出的事。这要是换了是其它的世家大族的话。这样的女儿早就被乱棍打死了，完全是败坏门楣，整个李家的脸都被她给丢光了。
这也是为什么至唐太宗之后，李家的那些个公主不好嫁的原因，这样的老婆谁敢要啊!要了也是自讨苦吃，说不定还被其连累。
要知道房遗爱和房遗直在房玄龄的教导下是相当的成功的，房遗直最后在永徽初年间担任汴州刺史、礼部尚书，这可是正三品的实职。
而房遗爱也不比房遗直差多少，其从军也是官至太府卿、散骑常侍。又封右卫将军，这可是一个大官了。
侯君集在原来历史上的玄武门之变后，于今年七月李世民大封秦王府众将为将为相的时候，当时有很多追随李世民多年的功臣也才这个位置。
武德九年（六二六）七月任命原秦王府护军秦叔宝为左卫大将军，程知节为右卫大将军。尉迟敬德为右武侯大将军。任命高士廉为侍中，房玄龄为中书令，萧瑀为左仆射。长孙无忌为吏部尚书，杜如晦为兵部尚书，宇文士及为中书令，封德彝为右仆射，又以原天策府兵曹参军杜淹为御史大夫，中书舍人颜师古、刘林甫为中书侍郎，左卫副率侯君集为左卫将军，左虞侯段志玄为骁卫将军，副护军薛万彻为右领军将军，右内副率张公谨为右武侯将军，右监门率长孙安业为右监门将军，右内副率李客师为领左右军将军。
其中侯君集为左卫将军，要知道乃是唐朝名将，凌烟阁二十四功臣之一，自少年时代就勇武为人称颂，隋末被李世民引入幕府，因作战有功，累迁左虞侯、车骑将军。唐高祖武德九年玄武门之变间，他曾为李世民出谋划策，唐太宗即位后，任左卫将军，封潞国公。
玄武门之变中，侯君集扮演了一个非常重要的角色，促使李世民的最终决策，并且是李世民进入玄武门随行九人之一。史称“建成、元吉之诛，君集之策居多”。这从事后的封赏也可看出，侯君集食邑千户，仅次于尉迟、房、杜、长孙几人，而在诸将之上。李靖当时是五百户。
有此可之这房遗爱并不是一个普通角色，不然也不会年纪轻轻的就当上这右卫将军，侯君集可是当上了国公的时候才当时这个与右卫将军同等的左卫将军。
这样的人物，怎么可能被高阳公主那样一个荡妇给拉起一起去参加谋反大业。
以房家当时的地位，只要不接触谋反之事，高宗李治肯定是会继续重用房家这二人的，最后两人同登六部尚书这为官之极也不是不可能的。
何况当时房遗直身为礼部尚书，已经是荣耀一世了，以房遗爱表现出来的智商更本就不可能去做出这种有损房家荣耀之事，何况还是为了高阳公主那个历史上记载的荡妇了。
最大的可能就是当时高阳公主背着房遗爱，参与了薛万彻、柴令武策划的谋反案，最终把房遗爱和房遗直牵扯进去，不过，这也是相当矛盾的，她高阳公主为啥要去参与策划这样一件吃力不讨好之事啊！
她和高宗李治应该是没有什么大矛盾才对，她犯得着去这么做吗！
何况当时房遗爱也不过是州刺史，柴令武为卫州刺史、封襄阳郡公。薛万彻被授宁州刺史，右武卫大将军。
以这三人当时的军事实力更本就不足以反动一场声势浩大的谋反运动，而且当时行刑前薛万彻大叫：“我薛万彻大好男儿，理应为我国家效力而死，岂能因房遗爱被杀啊！”，何况这事还牵扯到长孙无忌，当时长孙无忌借此机会将吴王李恪也牵连进来，李元景、李恪、房遗爱、高阳公主、薛万彻、柴令武、巴陵公主等全部被杀吴王李恪，唐太宗李世民的第三子，和魏王李泰是李世民诸多儿子中最贤能的，李世民曾打算立李恪为太子，但遭到长孙无忌的强烈反对而作罢。
这不得不怀疑这事是长孙无忌和高宗李治策划出来的阴谋，其目的就是消灭两人的政治对手，不然当时高宗即位不久，就以某事房遗爱被降为房州刺史。
而长孙无忌一直以来就与房玄龄和杜如晦两人一脉有所矛盾。
不过由于是李世民还在世，能够震得住当时的长孙无忌，而长孙无忌在李世民死后迅速的成为当时的大唐第一人，高宗李治的辅政大成，权倾朝野。
不然高宗也不会以一件可有可无的事把房遗爱被降为房州刺史，让房遗直在朝中孤立无援，最终把房杜一系彻底的拔起，顺便灭掉。