以后，也就是道光二十三年，他的在安徽游幕的舅舅也死了，没有儿子，又穷得无以为生，彭玉麟接到消息，悉索敝赋地凑了一笔盘费，派他的弟弟到安庆，把他那位年将九旬的外祖母和已近三十，贫而未字的竹宾姨母，接到衡阳。当时他有四首七绝哭舅舅，说是“阿姨未字阿婆老，忍使流离在异乡”，这也就是所谓“皖水分襟十二年，潇湘重聚晚晴天”的由来。可是在彭玉麟已是“还君明珠双泪垂”，因为早已娶妻生子了。

    彭玉麟的妻子姓邹，这位邹氏夫人，除却忠厚老实以外，一无可取，朴拙不善家务，难得婆婆的欢心。至于彭玉麟虽是寒士，但诗酒清狂，颇有名士派头，娶妻如此，闺房之中，自无乐趣可言，所以生下一个儿子，在“不孝有三，无后为大”这句话上有了交代，夫妻便不同房。到咸丰初年，彭玉麟的母亲一死，更是从此连面都不见。而那位“姨氏”，不愧取义岁寒三友的“竹宾”其名，玉骨姗姗，清如梅萼，绣余吟咏，亦颇楚楚可观。如果跟彭玉麟相配，也可说是神仙眷属，怎奈血统无涉，名分所关，一关名分，便关名教，这是个解不开的结，真正“乾坤无地可埋愁”！

    过了两年，九十岁的老外婆，死在衡阳，“彭郎夺得小姑回”，却留不装竹宾姨氏”，嫁后即死，死于难产。从此彭玉麟只以画梅抒写怀抱，和泪泼墨，一往情深，那些迷离恍惚的诗句，到底是写纸上梅花，还是梦中竹宾，有时连他自己都不分明。

    这一夜当然是低回往事，通宵不寐。到得第二天，接到一封信，是他平生第一好友俞曲园寄来的。俞曲园单名樾，浙江德清人，是曾国藩的门生，由编修外放河南学政，考试生童出了个截搭题，为一个姓曹的御史所弹劾，说他“割裂经义”，因而得了革职的处分。罢官南归，主持书院，先在苏州紫阳书院当山长，现在主讲杭州诂经精舍。他是讲汉学的，上承乾嘉的流风余韵，长于训诂，精于考据，所以作诸侯的座上客，不似理学家开口闭口“明心见性”那样乏味。加以著作甚富，而又是曾国藩的门生，李鸿章的同年，彭玉麟的至交，所以名重东南，仿佛当年的袁子才。袁子才有随园，他有“西湖第一楼”，此时正扫榻以待彭玉麟。