1934年11月，当红25军踏上长征路时，留在鄂豫皖坚持斗争的重新组建的红28军实际人数仅1000余人。红28军在军政委高敬亭的领导下，英勇地与敌人展开游击战，在条件有利时开展运动战，积小胜为大胜，部队开始慢慢发展壮大。不过，在红28军指战员们心中，寻找主力红25军并肩作战的念头从未打消过。
　　1935年5月，红28军获悉红25军正在陕南开辟新根据地。军政委高敬亭顺乎军心，作出了红28军主力1300余人往陕南西征，与红25军会师的决定。从而开启了一次“小长征”。
　　5月9日，红28军主力开始西征，一路冲破敌军的重重堵截，于5月23日晚越过平汉铁路。惊慌失措的蒋军眼见红28军入陕意图明显，遂急调5个师的重兵前来围堵，国民政府军第25路军等部也在后面紧追。
　　在这样的情况下，人生地不熟的红28军想破围而出，顺利抵达陕南与红25军会师，可能性几乎为零。为避免遭受不必要的损失，红28军政委高敬亭审时度势，于5月29日作出全军返回鄂豫皖的决定。随后红军部队立即掉头向东行进。此时，追剿红28军的国民党军32师独立旅也一路紧紧尾随。5月31日下午，红28军进至桐柏山区的随县淮河镇桐桥畈村，决定利用当地桃花山的有利地形伏击该敌，摆脱被追击的被动局面。
　　桃花山有五峰。主峰桃花尖，海拔758米，东北坡为悬崖峭壁，仅有一条羊肠小道（称螺丝臼）通向山顶。东是紫金山，海拔731米；西是马鞍山，海拔713米，都是深山谷地，林木丛生，难以攀登。
　　6月1日拂晓，红28军分二路进入阵地，一路在螺丝臼埋伏，一路隐蔽在桃花尖东侧。上午8时许，国民党军32师独立旅614团先头部队进到华石咀，红军以一个班的兵力边打边退将其诱至阴坡附近。埋伏在螺丝臼的红军突然发起攻击，歼灭其2个连的大部。国民党军立即又组织了2个连的兵力，在迫击炮、机枪的掩护下向上仰攻，遭到了隐蔽在桃花尖东侧的红军的猛烈射击。国民党军重新组织兵力几次冲锋均被红军击退。至当日下午3时，国民党军尸横遍野，残部狼狈逃窜。红28军打扫战场。此战，共击毙击伤敌人440余人，缴获步枪300余支。红军牺牲4人、伤10余人。全军随后经游河沟向天河口方向成功转移。
　　桃花山伏击战取得大捷后，红28军乘胜一路重新杀回鄂豫皖大别山区，结束了这次未完成的“小长征”。抗日战争爆发后，红28军改编为新四军第四支队，开赴抗日前线。