”五张黑公羊皮是当时买卖奴隶比较正常的价格，楚国人不疑有他，便很大方地将百里奚送给了秦国，当时的百里奚已经七十多岁了。
为了蒙蔽楚国人，秦国的使者将百里奚像奴隶一样囚禁起来，待一行人抵达秦国，秦穆公亲自为他解开束缚并谈论国事。百里奚一生大起大落，暮年还沦为了奴隶，已经心灰意冷，便说：“臣是亡国之人，何足国君动问！”秦穆公坚定地说：“虞国国君不听您的建议，这才会亡国，虞国的灭亡并非您的过错。”然后再三以国事相询，百里奚见秦穆公十分诚恳，并没有轻视自己，便滔滔不绝地将胸中韬略一一相告。
君臣二人得遇知音，一起倾谈了足足三天，秦穆公认为百里奚提出的治国之策很适合秦国，于是便要将国家大政托付给他，并封他为大夫。由于百里奚是用五张黑公羊皮赎回来的，而黑公羊皮在当时被称为“羖”，因此百里奚在秦国就被称为“五羖大夫”。
百里奚对秦穆公说：“臣的才能不及臣的朋友蹇叔，蹇叔的贤能当世之人无人知晓。我当年在各国之间游历求官，在齐国时遭遇困境，只能乞讨而行，是蹇叔收留了我。因此我就想留在齐国做官，侍奉齐国的国君无知，蹇叔劝住了我，这才没有在后来被无知牵累。后来我又为周王子颓养牛，以此得到王子颓的信任，将要得到重用的时候，又是蹇叔阻止了我让我离开，我这才没有和王子颓一起被杀。”
“后来我到了虞国，蹇叔又劝我离开，我虽然知道虞国国君不听劝告，但仍然为了爵禄地位留了下来。我两次听了蹇叔的话，就得以幸免于难，而这一次没有听他的话，就遭了劫难，因此我知道蹇叔是个难得的贤人。”秦穆公听了百里奚的话，果然派人带上厚礼去迎接蹇叔，封他为上大夫。
据说百里奚年轻时为了周游列国求官，不得不与自己的妻子杜氏分开。百里奚受到秦穆公重用之后，有了自己的府第，常常与同僚们饮宴享乐。一次，百里奚府上又举行宴会，席间还有歌姬献唱，丝竹管弦之声传出很远。一曲终了，却见管家引着一名老妇上前，对百里奚说她擅长演唱，希望能为他献唱一曲。
百里奚越看越觉得那名老妇像自己的妻子，但是夫妻毕竟分别多年，不敢贸然相认，便同意让她演唱一曲。老妇在堂下抚弦而歌：
百里奚，五羊皮。忆别时，烹伏雌，炊扊扅，今日富贵忘我为；
百里奚，初娶我时五羊皮。临当别时烹乳鸡，今适富贵忘我为；
百里奚，百里奚，母已死，葬南溪。坟以瓦，覆以柴，舂黄黎，搤伏鸡。
西入秦，五羖皮，今日富贵捐我为！
听了这首悲戚哀怨的曲子，百里奚再无怀疑，当即起身到当下与杜氏相认