在往昔岁月里，南岭山脚下有一座宁静的小村落，名为芦竹村。村中有位名叫芦贤雨的男子，他娶了一位温柔贤惠的妻子，名为山翠。婚后不久，山翠便有了身孕，肚子一天比一天隆起。满心期待的芦贤雨，接连请来了五位 “八字” 先生，试图推算出腹中胎儿的性别。他心里盘算着：若是儿子，便欢欢喜喜地留下；若是女儿，那就趁早用草药打掉。说来也巧，这五位算命先生像是事先商议好的一般，都断言山翠怀的是男孩。芦贤雨听闻后，满心欢喜，对未来充满了憧憬。
然而，命运总是充满了戏剧性。山翠分娩后，生下的并非男孩，而是一个白白净净的可爱女婴。一瞬间，芦贤雨的欢喜化作乌有，脸上的笑容消失得无影无踪。
一个月后，芦贤雨冷漠地对山翠说：“把这个赔钱货送给别人吧，主家我都已经找好了。”山翠心疼不已，连忙说道：“这么可爱的女崽，你怎么忍心送人？我实在舍不得！”芦贤雨却一脸决然，振振有词道：“老话说得好，‘沙子堵不得墙，女子养不得爹和娘’。你要是舍不得，那就请你到别人家的尿桶上屙屎去吧！”
面对这般不通情理的丈夫，山翠无奈至极，最终只好带着女儿黯然离开。她给女儿取名为赛男，希望女儿长大后能够比男子更加出色，也好气气那无情的芦贤雨。山翠担心女儿以后再遭人嫌弃，哪怕一路乞讨为生，也坚决不再嫁人。
山翠母女的事情在村子里传开后，有张、王两位财主向山翠抛出了橄榄枝。张财主请山翠去当奶妈，给出每月一担谷子的工钱。山翠心想：当奶妈？让自己的女儿少吃奶水，却去喂养张家的少爷，别说是每月一担谷子，就算给两担，我也坚决不去。王财主则请山翠去家中做家务，并且承诺等赛男长大后，能让她到自己办的学堂里读书，不过工钱相对较少，每月仅有一斗米。山翠思索一番后，觉得虽然工钱不多，但女儿以后有读书的机会，于是便答应了王财主。
时光匆匆流逝，每个月一斗米，一年便是十二斗。山翠挣得六担米工钱的时候，赛男也到了六岁。王财主果然信守承诺，让赛男进入学堂读书。
在学堂里，教书先生为了考考学生们的智力，提出了一个问题：“塘里有三条鱼，死了一条，还有几条？”王财主的儿子不假思索地回答还有两条，赛男却大声说道：“不对，还有三条。”教书先生好奇不已，要赛男讲讲原因。赛男条理清晰地说：“死了一条鱼，但你并没有说把它拿走呀！”教书先生着实惊讶，他教书二十多年，这个问题不知问过多少孩子，可从来没有一个能回答准确。今日赛男答对了，不禁让人惊叹，这女娃莫不是神仙投胎？
其实，赛男并非神仙投胎，只是她天资聪慧。《三字经》《百家姓》《四书》《五经》 这些经典书籍，她都读得滚瓜烂熟。尤其是绘画方面，她更是展现出了非凡的天赋，画什么像什么。她笔下的花花草草栩栩如生，仿佛只差一丝真实的香味；画出来的老虎威风凛凛，甚至能把狗吓得半死。到了十二岁，赛男的画已经有很多人愿意购买，一幅画能卖不少钱。赛男勤奋作画，卖画所得的收入让母女俩的吃穿不再发愁。过了几年，她们还盖起了一座大房子。
再说芦贤雨，自从把山翠母女赶出家门后，便想再讨个老婆帮他养育儿子。然而，媒人深知他的脾气，都不敢帮他介绍对象；周围的女子也知晓他的为人，都不愿意嫁给他。就这样，一年又一年过去了，芦贤雨依然没能讨到老婆。他逐渐心灰意冷，觉得自己的家业无人继承，便开始变卖财产以供吃喝。没想到等家业全卖光了，他却还没有死去，最终落得个打渔鼓卖唱乞讨为生的悲惨下场。
某一天，芦贤雨打着渔鼓来到山下的王家。山翠看到他，想起过往的伤心事，对他不理不睬。第二天，芦贤雨不死心，又来到王家。山翠忍不住说了几句气话，可依旧没有搭理他。芦贤雨见状，只能灰溜溜地离去。
山翠说气话的声音，惊动了正在楼上画画的赛男。赛男心中疑惑：这是怎么回事？以往那些来乞讨的人，母亲都会根据情况，该送米的送米，该给钱的给钱，从不为难他们，今天为何态度如此反常？在赛男的再三追问下，山翠终于将前因后果一五一十地讲了出来。
赛男听后，委婉地对母亲说：“妈，爹爹以前那样做确实不对。但如今他来了，说不定是有了悔改之心。你要是再不理他，这就是你的不对了。况且，不管怎样，如果没有他，也就不会有我呀！我们应该多记住别人的好，忘掉过去的那些过错。我去把他喊回来，妈，你看行不行？”
山翠觉得女儿说得在理，便没有作声。赛男快步追上芦贤雨，脆生生地叫了一声 “爹”，然后亲切地邀请他进屋吃饭、洗澡、换身干净衣裳，留下来一起过日子。
芦贤雨满脸惭愧，哽咽着说：“女儿啊！你们如今过得好，我不是想来巴结你们。我以前对你们母女太绝情了，现在非常后悔。落得如今这讨饭的下场，也是我罪有应得。不过，我想求你一件事，就是把我的过错，还有你们母女俩辛辛苦苦、艰苦奋斗争口气的事情，编成像《三姑记》那样能弹唱的词儿。题目我都已经想好了，就叫《砂子堵墙记》。”赛男微笑着回答：“这不难，我帮你编。你先进屋吃点东西，咱们再详细说。”
进了屋子，赛男走进厨房，发现妈妈不在。她喊了几声，没有得到回应。想来妈妈或许还没能一下子转过弯来，赛男便只好自己动手炒菜、煮饭。没过多久，饭香四溢，菜肴也炒好了。赛男礼貌地招呼爹爹上座吃饭，随后便上楼专心编写渔鼓词。等爹爹吃完饭，那篇饱含着过往种种故事的渔鼓词也顺利编写完成了。
芦贤雨让女儿念了一遍，听完后赞不绝口：“编写得好，编写得好！”尽管赛男再三挽留，芦贤雨还是毅然跨出屋门，独自一人走村串巷，唱起了这饱含着悔恨与感悟的《砂子堵墙记》 。