李世民知道李渊不肯同行去九成宫避暑一方面是觉得自己儿子互相残杀，一方面觉得九成宫乃是杨坚被儿子杨广残杀的仁寿宫，所以可能有怕触景伤情的感触。
关于修建仁寿宫其实还有个故事：甚至杨坚被人称为千古一帝，是一个不逊于秦皇汉武的存在。杨坚是隋朝的开国皇帝，号称隋文帝。他最大的功绩就是结束了长达几百年的各国割据的场面，将胡人重新赶出了华夏这一片土地。
杨坚在将中华大地统一之后，轻徭薄赋，使得百姓可以很好的休养生息，在杨坚执政之后经济和文化都恢复到了很高的层次。隋朝当时的繁荣甚至是不输于之后的贞观盛世。杨坚在传位给杨广之后，国库里面的钱财使得杨广挥霍到死还没有挥霍光。隋朝当时留下的粮食甚至到了李世民执政的时候还没有吃完。可见当时隋朝的强盛。
可惜的是杨坚生前功绩煌煌，在晚年却遭到惨死。杨坚死后的宫殿甚至差点将他之后的即位皇帝害死，十分的诡异。在杨坚平定天下之后，就在里长安三百多里的天台山上修建了一座用来避暑的宫殿。并将这宫殿取名仁寿宫。仁寿宫周围依山傍水风景可谓是十分的秀丽。可是仁寿宫在修建的时候就十分的不顺利，甚至可以说不祥。
在修建仁寿宫的时候，动用了数万百姓进行修建。当时监督民工修建宫殿的大臣杨素，为了养宫殿快点修建完毕，就让百姓日夜不停的赶工建造。使得许多民工都因为建造宫殿死去。在杨坚派人去了解宫殿修建情况的时候，手下回来报告说杨素为了宫殿进度，十分不顾及百姓，使得出现了大批百姓死亡的情况。杨坚听后大怒！派人斥责了杨素，并不让杨素菜监督宫殿的制造。
在宫殿造好之后杨坚入住。一到夜间就能看见周围都是磷火飘荡。杨坚从手下哪里知道这是死去农夫尸骨所散发的磷火。杨坚听后十分的伤感，于是派人摆酒祭奠这些死去的农夫。在仁寿宫建好的第四年杨坚病重，在仁寿宫养病。之后挺手下说杨广肆虐后宫，于是大怒！要将杨广的太子之位废掉，重新立杨勇为太子。
可是这个消息被杨素知道了，杨素就派人告诉了杨广。杨广为了保住自己的太子之位，就派兵包围了仁寿宫。并派手下的心腹张衡进入杨坚休息的卧室，将杨坚杀害。在杨坚死后，杨广就此登上了皇位。
在隋朝灭亡之后唐朝建立。之后的唐太宗李世民对仁寿宫也是十分的喜欢，于是就派人大肆整修仁寿宫，并更名为九成宫。之后的李世民经常在此地避暑，有的时候一住就是半年多。在李世民执政13年之后的春季。已经老年的李世民再次前往九成宫避暑。
在李世民避暑的时候随行的还有一个胡人，名叫阿史那结社率。阿史那结社率是当时李世民的护卫中郎将。这位胡人在长时间没有得到升迁的情况下新生怨恨，就勾结了十几个同为胡人的部下准备在凌晨四更进行兵变，杀了李世民。
阿史那结社率扎突然发起了兵变，使得护卫九成宫的将士反应不急。甚至被阿史那结社率带兵杀到了李世民卧室门口。在关键时刻，折冲将军挺身而出，不顾自己的生死，将叛军给截住，最后平定了叛军。使得李世民躲过了一节。
在李世民去世之后，唐高宗李治也十分喜欢在九成宫避暑。每到夏季都会来九成宫。在李治执政的第五年。李治有一次来九成宫避暑。在刚进九成宫之后，就开始下起了大雨。大雨连绵不修。最后形成洪水冲进里九成宫。很多的士兵和侍女都被洪水冲走了。要不是当时的薛仁贵拼死相救，跳到洪水里面将李治给救出来，李治早就被洪水冲走了。在洪水过后经过查点，发现失踪死亡的士兵和侍女多达三千人。
之后李治就对九成宫心有忌惮。不再前往九成宫。后面的几位唐朝皇帝都觉得九成宫不祥，不再前往九成宫。就这样九成宫就渐渐荒废了。
杨坚晚年史料记载是干了很多蠢事的：1、隋文帝在位的二十四年间，锐意改革、政绩卓着。但是在