大司农，官至九卿，又在三杨之乱中护卫天子，爵封西城侯，可谓显赫了。
但何攀的发达无关于其他蜀人，只是因为他是巨鹿郡公的女婿。此后何攀屡屡推荐同乡入朝，朝廷多不应允。加上后党覆灭后，他也遭受牵连。至此他心灰意冷，干脆便以养病为由辞去官职，不再与任何人交往，反而一直在洛阳疗养身体。
薛懿在信中特意提到，何攀与他们这些蜀汉遗臣不同，当年蜀汉尚在时，何氏一族就已有动摇之心，以为汉室气数将尽，因此早早隐居家中，并不出仕，与刘羡并没有什么君臣干系。
可正因为如此，刘羡愈是要说服他。只有当他这样与汉室并无瓜葛的人，也同意振兴汉室时，其余蜀人才会没有疑虑。
刘羡读罢薛懿的信件，对薛兴道：“请您回去转告薛公，我一定会促成此事。”
当日下午，他就向西城侯府递了一份名帖，希望能求见何攀。结果不出预料，这突如其来的一份拜帖，何攀并不接受，他以身体不适为由，果断回绝了刘羡。
于是次日一早，刘羡又写了一份拜帖，以极为谦逊的口吻，谈及自己拜访的理由。他表示如今国家多难，社稷倾危，藩王各自为政一方，其局面之混乱，堪比周平王东迁。这种危难时刻，长沙王虽有一腔赤胆忠心，但到底是个年轻人，经验不足，正需要何公这样的老人出山，为长沙王指点迷津。
这一次，何攀仍是拒绝了，不过回绝的态度也缓和了许多。他在回信中写：自己并非是诚心回绝，而是确实年老体衰，身体不适，不适合出来做官了。面对国家现在的局面，他智力短浅，看不到出路，也没有什么解决的方法，就请松滋公不要再做无用功了。而且两人的关系比较尴尬，为了避嫌，也不要再联系为好。
刘羡见到这封回信，能从中感受到何攀对官场的厌倦，不禁对李盛感慨道：“看来我们这位蜀人领袖，是铁了心，再也不出来做官了。”
李盛道：“主公，是要放弃吗？还是直接请天子诏令，强令他就征？”
刘羡笑道：“才回绝了两次而已，有什么好放弃的，我曾祖请诸葛丞相出山，不也去了三次吗？强迫也不好，平白多些龃龉，何必呢？这第三次，我亲自去和他谈吧。”
说罢，他便把手头的一切事务都放了下来，转交给诸位幕僚。自己和阿萝商议了以后，亲自去西市里买了些调理养身的药材，还有一些当季的水果。买完以后，也没有乘车，把药材水果往马鞍上一挂，他就骑着翻羽，悠然自得地前往西城侯府了。与之作陪的，仅有李盛、诸葛延两人。
西城侯府位于洛阳南郊，往南沿铜驼街出宣阳门，过太学，经浮桥出洛水，走约三百步，再绕两个弯，方能看见这座与众不同