苹果双臂采摘机器人的试验成功,
意味着苹果采摘机械化
向前迈出了重要一步,
但机器人从试验成功
到下地应用还有很长的路要走,
这仅仅是开始。
“机器人首先要瞪大‘眼睛’瞅得准树上的苹果,其次‘手脚’协调能够得着苹果,最关键的是‘大脑’,能把‘眼睛’看到的信息智能化处理,快速、有效地传导给采摘手臂完成作业。”望着正在苹果园中采摘的机器人,西北农林科技大学教授杨福增这样介绍道。
杨福增口中所说的机器人,正是2022年11月亮相于农业农村部苹果全程机械化科研基地(陕西白水苹果试验站)的双臂苹果采摘机器人。一双橙黄色机械臂操作有序,动作协调,一颗颗苹果被机器人准确识别、采摘,再稳稳落入收纳框中,宛如一名技术娴熟的采摘工人。
从一张张图纸、一行行代码变为下地作业的机器,1300余天,这台双臂采摘机器人如何造就?西北农林科技大学机械与电子工程学院杨福增教授告诉了我们答案。
智能高效 双臂协同
2022年11月,西北农林科技大学杨福增团队研制的苹果双臂采摘机器人在果园实地试验成功。
一眼望去,苹果采摘机器人橙黄色的双臂最引人注目,同时作业的两条机械臂起落连贯,动作有序,能够精准识别、采摘、转运苹果,其动作娴熟度并不亚于人工作业,但与人工不同的是,这台双臂苹果采摘机器人未来甚至能够做到昼夜不停采摘,实现无人自主化智能运行。
这台机器人主要包括行走系统、视觉系统、控制系统、执行系统等4个系统,由智能履带底盘、深度相机、信息智能化处理模块、上位机(控制器)、机械臂和采摘手组成整机,再加上前后两台装载转运机器人一起,组成一个苹果采摘—转运多机器人系统。
杨福增教授团队研发的单臂苹果采摘机器人。
这4个系统分别对应了机器人不同的身体“器官”,行走系统是苹果采收机器人的“双脚”,主要由履带底盘和导航组成,负责作业路径规划和避障行走;视觉系统相当于它的“眼睛”,由深度相机和信息智能化处理模块组成,可以实现识别与定位苹果果实的功能;执行系统是苹果采收机器人的“双手”,包括机械臂和末端执行器,主要完成苹果抓握与采收等任务;控制系统则代表机器人的“大脑”,核心是上位机,它集成了控制界面和所有的软件模块,用来控制整个多机器人系统。
苹果采收机器人采摘收获工作并不复杂,机器人可依据苹果的着色程度、色泽等先验知识和算法来判断果实是否成熟,由视觉系统识别并确定成熟果实位置,控制系统合理规划路径,驱动执行系统到达果实位置,采摘手完成抓握、分离动作后,移动到苹果收集箱缓慢释放苹果,最后机器人复位开始下一轮采收。
据介绍,目前西北农林科技大学苹果采摘机器人在多方面实现了突破。一是识别时间快,只需要0.015秒就能识别出苹果果实的位置;二是采摘方式灵巧,不同于以往拉拽分离、振摇分离,采摘手进行仿生旋转拉拽,能耗小;三是采摘手臂多,在双臂采摘的同时能实现协同一致,大大提高了整机采摘效率。
杨福增告诉记者,采摘—转运多机器人系统在白水苹果试验示范站进行调试与试验大约一个月时间,单臂单果采摘速度平均约为7.5秒/个。未来投入使用后,初步预计双臂采摘—转运多机器人系统每小时可采摘约800个果实,相当于6至7棵果树,约10分钟一棵树。
机器人试验成功的消息备受外界关注,杨福增表示,现在有不少国内外高校科研团队和实体企业主动联系研发团队,了解苹果采摘机器人的研制情况,并提出合作、研发和推广意愿。
苹果生产,缺人又缺机
深秋,园中的苹果挂满枝头,颗颗果实色泽红彤,散发出诱人的香甜,但陕西省洛川县的路乐乐却开心不起来。
“我们洛川县家家户户都是种苹果的,所以到了收获的时候,每个人家里都很忙,工人们一般上家还没干完,下一家就预约好了,即使是周围县城的外地人也不好找。”路乐乐一家共种植了20多亩苹果树,每年在苹果套袋、疏果、采摘这样急需人力的时节,路乐乐一家都会苦于雇佣不到工人而发愁。
苹果属于劳动密集型产业,果树种植、田间管理、采摘收获等环节都离不开工人参与。中国又是全球最大的苹果生产国,产量占全球苹果产量的50%以上,在世界苹果产业发展中占有重要地位。根据国家苹果产业技术体系数据统计,2021年全国苹果种植面积为3132.12万亩。国家统计局数据显示,2021年全国苹果产量为4597.34万吨。而像洛川县这样以苹果种植为主的地方,经常会在农忙时节出现用工紧张现象。
《全国农产品成本收益资料汇编2021》的统计数据显示,2020年苹果每亩人工成本已经占到生产成本的62.7%。农村青壮年劳动力外流,人工成本的上涨也在不断挤压着苹果产业的利润空间,挫伤了果农种植的积极性。
杨福增表达了他的担忧,现在的农村地区,大部分是50至60岁,甚至70多岁的人在干活,未来,因年龄增长而丧失劳动力的农户退出农业生产之后,苹果产业发展也将面临后继乏人的窘境。
人力因素是一方面,没有适用的农机是另一方面。
“市面上几乎没有什么能直接用来套袋、采摘的农机,大部分还是需要依靠人力进行,雇佣的工人也很辛苦。”路乐乐说。
与全国其他丘陵山区一样,许多分布在此的苹果园也都存在着“牛进得去,铁牛进不去”“无机可用”“无好机用”等问题。于国内而言,我国苹果采摘机器人研究起步较晚,近些年,国内高校科研团队针对果园智能采摘机器人关键技术开展了很多研究,但是大多处于实验室开发阶段或测试阶段。目前,国内市面可见的采摘机器人大多由科技公司推出,如阿里巴巴达摩院XR实验室、杭州乔戈里科技有限公司、深圳史河机器人科技有限公司,分别研制了不同的苹果采摘机器人并应用于果园。
然而几十年来,我国的苹果园主要以传统的乔化老果园为主,树冠高大、枝多株近、果园郁闭,再加上丘陵山区地形限制,这些都成为影响机器人采摘作业的主要因素,即使是已经问市的采摘机器人,限于栽培模式、管理模式、小农户购买力等原因,实际推广应用还有较远距离。
放眼国外,苹果采摘机器人的研发可以追溯到20世纪80年代,经过几十年的发展,如今美国、德国、日本、以色列等农业发达的国家,分别研发了不同形式的智能采摘机器人。美国初创公司AbundantRo?botics采用了计算机系统识别、真空吸取的采摘方式设计,以色列的无人机水果采摘,小巧灵活,可以轻松飞到树梢采摘,德国利用AI技术对苹果成熟指标进行多维度计算,并将结果反馈给机器人,采摘后还可以完成分拣任务。
除了人工采摘和采摘机器人之外,还有自动化辅助采摘和机械采摘两种形式。机械采收的主要是利用机械外力振摇树体或树枝,使果实与树枝分离掉落,效率较高,但不分生熟无差别采摘,掉落还容易损伤果实。半自动化辅助采摘是通过采摘辅助平台,实现升降功能以及多人手工采收。
根据《“十四五”全国农业机械化发展规划》,“十三五”以来,全国农作物耕种收综合机械化率达到71.25%,而丘陵山区农作物耕种收综合机械化率还不足50%,低于全国平均水平20%左右。作为丘陵山区主要经济作物的重要构成部分,苹果产业的机械化率对于丘陵山区农作物耕种收综合机械化率的提升至关重要。
杨福增介绍,据有关资料统计,我国丘陵山区占了国土面积的近70%,产了约50%的水果,约30%的粮食,当地需要先进适用的农机提高生产水平,保障粮食安全。
研发是厚积薄发的过程
从零的突破到双臂采摘机器人的试验成功,看似仅仅用了四年的时间,对杨福增而言,却是整个团队十二年来默默无闻的积累。
2009年,杨福增了解到美国正在做苹果生产机器人的研究,他的心中也产生了研制苹果采摘机器人的想法。但受现实条件所限,并没有能够直接开始研制,他只能转变思路,将心思放在前期的准备工作上。
“苹果采摘机器人肯定是未来的一个热点。2010年左右我们开始布局,把采摘、打药和转运等机器人群体作业的发明专利先申报了。”杨福增介绍,团队每两年还会分配一到两名学生,先尝试探索苹果机器人相关的研究,为后面真正上手研制工作奠定基础。
杨福增教授(左二)与团队学生研讨机器人手臂抓取苹果的技巧。
2018年,借助农业农村部苹果全程机械化科研基地建设项目和陕西省苹果科技重大专项,杨福增知道机会来了。
时机成熟,困难未减。苹果采收机器人是农业机器人研究领域的热点和难点,涉及新工科数学基础、人工智能算法和模型、传感与智能化信息处理、自动化、机械设计等多项技术和农业复杂多变场景。在中国知网搜索有关苹果采摘机器人的研究论文,涉及的算法和模型加起来就有几十种之多,不同的学者有不同的研究,不同的机型也有不同的算法。模型很复杂,哪个更有效?算法有很多,哪个更可行?这些成了摆在杨福增和团队面前的困难。
回到研制采摘机器人的出发点,苹果采摘转运追求的是高效和无损,这是从苹果生产角度提出的现实要求,然而机器人采摘要做到这两点并非易事。
机器人要想快速摘取苹果,必须先能快速识别和准确定位苹果,并完成反馈,此时机器人的“眼睛”和“大脑”就显得尤为重要,这就需要找到合适的算法。然而在复杂的非结构化果园环境下,现有的算法大部分将苹果被树叶遮挡、枝干遮挡、果实遮挡或混合遮挡等不同情况划分为一类,如果机器人直接采摘被遮挡的苹果,就极容易损伤果实,甚至损坏采摘手和机械臂,影响采摘效率和果实品质,或造成更大损失。
“灵感的出现是偶然的,成功也是需要经过多次的探索和煎熬,是一个厚积薄发的过程。”杨福增介绍。经过一轮轮地筛选和试验,团队研究测试出面向采摘机器人的苹果采摘方式和实时识别方法,它具有以下几个优点:提取目标快、识别精度高、误采率低。这也就意味着,使用这种算法的机器人能够实时识别苹果位置,对不同情况的苹果进行分类,并采用不同的采摘策略,降低误采率,进而提高采摘的速度和精度。
比如,机器人对于没有遮挡的苹果可以直接采摘,对于小部分遮挡的苹果可以迂回采摘,而对于较远种植行的苹果则采用不可采摘策略。
此外,苹果采摘机器人的采摘手也十分关键,作为与苹果果实直接接触的部分,采摘手抓取采摘的动作规划不当也会影响作业效率,对苹果造成损伤。采摘手与苹果的接触点选在哪里?用什么样的姿态抓握更稳定?多大的力度最合适?
杨福增团队在前人研究的基础之上,对采摘手握持苹果的姿势、用力方向、用力大小进行多次测试。从理论、仿真到实地试验,团队分别确定了两种握持位置,一是采摘手与苹果茎萼轴平行,二是采摘手与苹果茎萼轴垂直,最终确定了采摘手与苹果茎萼轴平行是最优的三指握持姿态。基于这种三指握持姿态,团队又设计了垂直拉、水平拉、垂直旋转和旋转—水平拽拉等4种采摘模式。
经过层层测试,旋转—水平拽拉模式既能实现苹果采摘而且机器功耗最小,所需的平均三指抓握力最小,可以实现“抓得稳、采得下”的最优目标。
解决好这几个方面的问题,就意味着苹果采收环节中的识别、定位、分离技术找到了最优解,2021年3月,杨福增团队的第一台单臂采摘机器人研发成功,并顺利走进白水苹果试验示范站。2022年,在单臂采摘机器人的基础之上,团队为了进一步提高苹果采摘效率,又增加了一只采摘臂,苹果双臂采摘机器人成型。
团队的研究生们正在白水苹果试验示范站调试苹果双臂采摘机器人系统。
成功的背后,是杨福增团队无数次失败换来的。“从一个想法出现到试验成功并非易事,失败是常态。科学领域有一个666实验法,经历665次的失败才有第666次成功的可能。成功,仅是最后那一次。”杨福增说。
地形、果园带来双重挑战
“天下难事,必作于易。苹果采摘机器人是农业机器人领域的难点和热点之一,到现在世界上还没有成熟的产品,它仍在科研范畴。”杨福增说道。
苹果双臂采摘机器人的试验成功,意味着苹果采摘机械化向前迈出了重要一步,但机器人从试验成功到下地应用还有很长的路要走,这仅仅是开始。
我国的苹果主要有渤海湾、黄土高原、黄河故道和西南冷凉高地四大产区,这些地方大多具有坡陡路窄、沟壑纵横、土壤条件多样等特点,对机器人的动力底盘安全性、通过性、稳定性及等高线作业提出了更高要求。比如甘肃省、陕西省苹果种植区,地处黄土高原丘陵沟壑,地块碎小、崎岖不平,给采摘机器人的进入和作业都带来了不小的挑战。
为此,杨福增团队在长期从事丘陵山地农机装备探索的基础上,专门选取履带底盘,以增大与地面的接触面积,同时,尽可能地降低机器人重心,增强稳定性,让机器人可以在沟壑纵横的丘陵地行走和作业。当前,苹果双臂采摘机器人能在现代化的矮化密植苹果园大展身手,但是面对老式果园和复杂地块的果园,仅做到这两点还远远不够。
杨福增团队最近正在研究体积更大的采摘机器人,“较大体积、较大动力的机器人越障碍、跨沟坎能力会更强一点,复杂地块作业问题能够得到比较好的解决。”杨福增认为,还需进一步的技术创新和迭代,步步为营,最终实现老式果园和复杂地块果园的机械化采摘。
2022年中央一号文件明确提出,全面梳理短板弱项,加强农机装备工程化协同攻关,加快大马力机械、丘陵山区和设施园艺小型机械、高端智能机械研发制造并纳入国家重点研发计划予以长期稳定支持。具体而言,农业农村部农业机械化管理司和各省农业农村厅正在推出丘陵山区农业机械化的相关政策,加快补齐农机装备短板,这无疑进一步给杨福增这样对丘陵山区农机领域持续攻关的科研工作者提升了信心。
如果农机的研制是为了苹果采摘“有机可用”,那么老式果园宜机化改造则是为了“让机能用”,为将来农机在更广范围下地应用铺平路子。过往,由于乔砧果园栽植密度过大,树冠大枝条过密,通风性透光性不足,一来容易形成郁闭,影响果品质量;二来株间距小,机器人无法进入作业,树冠也会影响机器人的信号系统。
以路乐乐家的苹果园为例,她家的果园已经有30多年的种植历史。二十多亩的苹果,传统老式果园面积占据了一半以上,现代化果园只占了一小部分。谈到自家果园的农机应用情况,路乐乐说:“近两年新建的果园可以考虑使用农机采摘,但传统老果园仍然要改造后才能适用苹果农机作业。”
杨福增认为,未来,更多的老式果园通过改密度、换品种、引技术等完成宜机化改造后,将更适合苹果采摘-转运多机器人系统的使用。
样机变商品仍有距离
至于推广应用,杨福增团队也表达了自己的看法,从德国汉诺威国际农机展览会不难看出,可供丘陵山区农机装备研发参考的样机较少,因此创新研发难度更大。国内不少农机企业的创新实力仍有较大提升空间,知识产权保护力度明显不足,产学研推联系还需要进一步紧密。
许多农机人认为,部分国内的农机企业并不愿意花费必要的科研经费和时间成本在农机研发方面下功夫,而是直接照搬先进实用的农机装备,稍作形式上的改动后进行售卖,久而久之,这种做法对国内农机“卡脖子”技术攻关、关键核心零部件创制和农机推广应用有百害而无一利。
2019年2月,《关于促进小农户和现代农业发展有机衔接的意见》明确指出,我国人多地少,各地农业资源禀赋条件差异很大,很多丘陵山区地块零散,不是短时间内能全面实行规模化经营,也不是所有地方都能实现集中连片规模经营。当前和今后很长一个时期,小农户家庭经营将是我国农业的主要经营方式。
甘肃省静宁县已经有30多年的苹果种植历史,全域苹果种植面积超过百万亩,除了现代化成规模果园之外,还有不少小户果农的存在。张娟科的家中种植了4亩多苹果,她家也是静宁县众多小户果农中的一员。“苹果打药、疏果、套袋、采摘等时节,工人比较紧张,机器使用不多,都是亲戚熟人之间互相帮忙。”张娟科的父亲表示,自己家的果园种植面积较少,对于苹果采摘机器人的使用,将来首要考虑的一定是农机作业投入成本和效益的问题。
据团队初步计算,未来量产后的苹果采摘机器人总成本约为50至60万元每台,机器人属于技术密集型的高成本产品,杨福增并不鼓励小户果农单独购买使用苹果采摘机器人,机器人与农业的融合需要一个过程。比如政府出台灵活有效的农机补贴政策,通过农机专业合作社统一采购,面向小农户提供采摘服务是一种更好的选择。
采摘机器人的研制与推广并不是一件简单的事情,而是一项系统化的工作。杨福增团队还将借助获批的“十四五”国家重点研发计划“丘陵山地通用动力机械创制与示范应用”项目,联合全国比如潍柴雷沃等为代表的优秀企业,和中国农大、上海交大、北航等知名高校联合开启并推进丘陵山区的农业机械项目,尽快让科研机变为商品机,早日为苹果产业高效发展服务。
“我们需要把目光放长远,为山区的老百姓做点实实在在的事情,为改善山区的生产条件、促进丘陵山区的农业机械化提供技术支撑。”谈起联合研制农业机械的项目,杨福增很是欣慰。
未来,如有可能,杨福增团队计划首先集中优势进行小批量试制和小面积示范应用,加快产品优化改进,提高可靠性,降低维护成本,形成可复制的生产模式,最终以点带面,做好未来采摘机器人量产与大面积推广应用落地工作。
同时,团队还将开启四臂采摘机器人的研究,并增加夜间采摘试验,不断提高机器人的应用场景。
“四臂采摘机器人可行性方案已经论证通过,但三维空间的动态规划和协同稳定是个问题,四个臂同时动的话会产生一定冲击力,机器的动态稳定性需要格外注意。”对未来四臂采摘机器人的研制,杨福增信心满满。