谷文昌还把目光投向荒山和大海，提出：大抓代食品，向荒山要粮，向大海要粮。东山县委责令县商业局主抓代食品工作，成立了“大搞代食品领导小组”，专门领导带食品工作。认真贯彻充分利用野生植物和海生藻类代主粮，制造糕饼供应群众。用地瓜藤叶、陆上植物如蒲姜叶、艾叶、枳壳和浅海藻类虎苔、虎茜、鬃菜、龙须菜、赤菜等二十多种野生植物、海生藻类25万公斤制作成代食品。
　　
　　随后，又制作了十万公斤35种花色各样的糕饼供应市场。其中，一种生长在海水里的单细胞藻类植物小球藻被人们当成代食品的好原料，东山县委为此发文《关于大面积生产和使用小球藻的初步调查报告》，号召各单位培养小球藻，以解决营养不良的问题。
　　
　　谷文昌与县委班子一起，在大量调查研究的基础上，实事求是地对东山的农村生产体制、分配体制等做出重大调整，使东山县农业生产在1961年就得到恢复，人民群众的生活比其他县更早脱离困难处境。
　　
　　最终，谷文昌把目光集中在公共食堂上，有人认为公共食堂是“共产主义因素”而加以保护，但是，历经实践考验后，群众普遍觉得大食堂既麻烦又不如愿，尤其是吃不饱的问题难以解决；而食堂总是众口难调，不管怎么努力改善食堂，群众都有意见。几经探讨，1961年春夏之间，全县的大食堂基本都解散了。
　　
　　文化大革命时期，有些人批斗谷文昌，揭发他的“劣迹”，说他保护过大量“敌伪家属”，保护过大量“右派”，是彻头彻尾的“走资派”，一系列的罪名加在他头上。据谷哲慧回忆，一次，她去福州探望父母，她看到响声震天的口号声中，红卫兵将爸爸捆绑起来，她清楚地记得，她从楼上看狂热的游行批斗队伍，第一个是叶飞，第二个是皮定均，第三个是戴着尖尖的高帽子的父亲。狂热的红卫兵们对谷文昌采取“万炮齐轰”“火烧水淹”“坐飞机”等酷刑。那段时间，谷文昌经常在福州被游行批斗，受尽折磨。
　　
　　文革的浪潮也席卷了东山岛。当时，岛上的红卫兵分为两派，两派之间相互攻击、揪斗，整个小岛乱哄哄地，一大批干部群众受到冲击，县委副书记靳国富差一点命丧造反派之手。