后来她不知道是哪里露了馅儿，萧士及居然开始追查她那几个从她爹手里接手过来的死士。
那时候，她真是魂飞魄散，深知一旦萧士及查到她的死士，她的所作所为就都在萧士及面前曝光了。她再也别想和上一世一样，得到萧士及的眷顾，所以她不得已之下，带着剩下的几个死士离开长安，去岭南寻亲。
他们穆侯府的人，除了穆侯被斩，穆侯大夫人被她女儿穆贵妃赎出去，还有穆夜来被太子妃赎出去以外，别的人都流放岭南。
结果穆夜来千辛万苦才来到岭南，找到她大哥。才知道他们的族人大部分因为不适应岭南的气候。得了疫病身亡了，包括她的亲二哥。她大哥倒是能屈能伸，也会钻营，不知道靠着何人的关系。抱上岭南大都督封裴敦的大腿。在大都督府上做一个小小的门房度日。
穆夜来找到他之后。就投靠他过日子。
兄妹俩本来还打着回长安的算盘。
可是等杜恒霜大破突厥金狼铁骑、被封秦国夫人的消息传到岭南，穆夜来如丧考妣。她那是才知道，萧士及这辈子也不可能翻身了。
杜恒霜抢了萧士及的功劳。唯一一个可以让萧士及翻身的功劳。
穆夜来这才对萧士及彻底死了心，不再打算等萧士及起复，因为她知道永远也等不到了，就跟她大哥合计，钓上了岭南大都督封裴敦这条大鱼。
借了一个进岭南大都督府外院做临时丫鬟的机会，穆夜来很快得到封裴敦的注意。
待知道她是穆夜来，是长安赫赫有名的柱国侯萧士及的红颜知己，封裴敦很快就把她拉上床。一夜**之后，封裴敦看见她的落红，极为惊讶，还曾经笑着打趣道：“……原以为你早是萧士及的人，想不到你还守身如玉。”
穆夜来当时臊得脸都红了，她结结巴巴半天，不知道说什么好。
但是她那股结结巴巴的样子，反而正对了封裴敦的心思。他笑着揽她入怀，拍着她的后背道：“好了好了，我知道你委屈。跟了我，我定不让你再委屈。”
第二天就封了她做姨娘，将她接入后院。
那个时候，穆夜来对于这个结果，还是非常满意的。就跟一个乞丐突然发现自己不用乞讨就能过上温饱的日子，简直是欣喜若狂。
结果她没有高兴多久，就从长安又传来圣旨。原来她姐姐穆昭仪在宫里有了身孕，陛下大喜，将她姐姐晋升回穆贵妃，同时大赦他们穆家，将穆侯的侯爵职位又给她大哥袭了，还能承袭五世。
穆夜来听到这个消息，简直比听到杜恒霜封秦国夫人的消息还