老四登基，是为咸丰皇帝，他没亏待六弟恭亲王，除了赐给朗润园，还把庆亲王府赐作府邸。这座坐落在后海南畔的王府，最初是乾隆朝宠臣和珅营建的府邸，是所有王府中最宽敞气派的。不仅如此，太平军北伐进入直隶后，咸丰又让恭亲王进了军机处，并且统领京师巡防部队，破了皇子不干预政务的祖规。大家都觉得，皇帝对这位六弟够可以的了。兄弟失和，是在咸丰五年（1855年），那年恭亲王母亲静太妃病重，恭亲王极力为母妃争取皇太后的封号，并一再提醒当今皇上是由静太妃拉扯大的。咸丰不得已答应，却以恭亲王办理太后丧仪粗疏为由逐出军机，革去一切职务，让他回上书房读书，去年才勉强给了镶红旗蒙古都统的闲职。
此时，恭亲王正在朗润园中，如热锅上的蚂蚁。朗润园四面环水，殿宇奇伟，前后河岸，密排垂杨，殿院后墙之外，修竹万竿，幽篁之下，可垂钓，可听蝉，本是极清凉幽闲的去处。然而，此时园子的主人丝毫没有闲情逸致。听说官军在通州又打了败仗，溃兵已经涌到城外。可是，他偏偏没有确切的消息。这也难怪，那些炙手可热的权臣是顾不上他这个闲散亲王的。
还好，总算有人拜访来了。是他的老岳父，大学士桂良。瓜尔佳·桂良属满洲正红旗，从嘉庆朝外放做道台，之后仕途风顺，按察使、布政使，河南巡抚、湖广总督、闽浙总督、云贵总督，回京后又历兵部尚书、吏部尚书、东阁大学士，前年，已位居本朝大学士之首——文华殿大学士。在道光朝，桂良是颇有建树的大员，很得道光帝的器重，所以将他的女儿指婚给恭亲王做嫡福晋。在咸丰朝，仍然为朝廷依重。太平军北伐，咸丰又起用他为直隶总督，配合僧格林沁作战；英法联军北上，又任他为钦差大臣，到天津与英法和谈。今年联军再次北上，危机关头再授他为钦差，到天津去安抚夷人。内政外交，绝非等闲之辈，他的意见恭亲王也乐意一听。