他的生母杜氏原是都察院右副都御史之女，但后来这位御史得罪了朝中的权臣导致全家都被流放了。而流放的途中那位权臣又做了手脚，所以最后御史一家人就全都死了。李家老太爷怕事，就做主将杜氏送到了一座尼姑庵里去住，对外只说静修，祈福。哪晓得庵里的众尼和附近一寺庙中的和尚不清不白，往来密切。那个和尚也色胆包天，看到杜氏貌美，趁着一个月黑风高之夜就将杜氏给玷、污了。而就这一次杜氏就珠胎暗结了。为了自己的名节，杜氏自然不好声张，只能每日以泪洗面。她的奶娘冯嬷嬷是知道此事的，除了陪着一起哭，骂李家老太爷不是人之外，又给杜氏出主意。

不能一直待在这是非之地啊。而且杜氏前两年是生了一个女儿的，现下她被送到了这尼姑庵里来‘静修’，女儿怎么办？李家老太爷那样攀高踩低的人，就算是亲孙女，他会真心爱惜？于是冯嬷嬷的意思，就是让人回李家去报信，只说杜氏腹中这孩子是她丈夫李修松的，杜氏到了这尼姑庵里之后才发现自己有了身子。现下庵中清贫，杜氏有了身子，李家老太爷就算不看在杜氏的面上，那看在她腹中这个孩子的份上也会接她回府的。而只要她回去，那就一切都好办了。

杜氏思女心切，而且确实也想离开这是非之地，所以便依着冯嬷嬷的话做了。

但李家老太爷接到这个消息，原本是不想让杜氏回来的。

杜氏之父被流放他也是或多或少的参与了其中。而且现下那位权臣风头正盛，他正千方百计的要巴结，这时候接了杜氏回来，虽说杜氏是出嫁之女，与杜家没什么关系了，但那个权臣原也不是个心胸豁达之人，不然不至于杜御史一家被流放了他还不放过他们，暗中让人结果了他们的性命。要是这时候将杜氏接了回来，让那位权臣晓得了，随便在后面搞搞小动作就够他受的了。所以李家老太爷总是不同意，只说让杜氏自行在庵中生了那个孩子下来。且那孩子生了下来就送人，不能说是他李家的子孙。

李老太爷当时是这样想的。这孩子虽然说有他李家的血脉，但也有杜家的血脉啊。一来是怕被那权臣在意，从而给李家招祸，而这二来，杜御史的事也是与他有关的，保不齐这孩子往后大了长歪了，起了心思要给他外祖父***报仇什么的，到时怎么办？

但架不住当时李修松在门外跪了三天三夜，最后李老太爷也只能松口说接杜氏回来。只是又提了个条件，那就是杜氏纵然被接回来了，也只能藏在花园中的某处幽静所在，对外只说她死了。随后她生下来的孩子也只能说是通房丫鬟生的。

李修松是个懦弱愚孝的人。所以纵然是他心中对自己的这个结发妻子再深情，可也扛不住自己父亲的威压，最后他也只得痛苦的答应了。