谷歌DeepMind 本次发布的数据集 BIG-Bench Extra Hard (BBEH), BIG-Bench Extra Hard (BBEH)是由谷歌DeepMind创建的数据集，旨在通过替代BIG-Bench Hard (BBH)中的每个任务来测试模型的一般推理能力。BBEH中的每个新任务都是在BBH的相应任务的基础上构建的，它们在相似的推理领域中测试类似的或更多的技能，但难度更大。该数据集保留了BBH的高多样性，并包含了200个问题/任务，除了Disambiguation QA任务有120个问题。BBEH旨在提供一个更准确的衡量模型一般推理能力的指标，挑战当前最先进的模型。
README 内容：
关于 谷歌DeepMind , 谷歌DeepMind是谷歌旗下专注于人工智能和机器学习的研究机构，成立于2010年，总部位于英国伦敦。DeepMind致力于开发先进的AI技术，解决复杂问题，并在多个领域取得了突破性进展，如AlphaGo在围棋领域的成功。
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。