Moonshot AI首個大模型產品支持20萬字上下文

2023年10月9日，成立僅半年的大模型初創公司——Moonshot AI宣布在“長文本”領域實現了突破，推出了首個支持輸入20萬漢字的智能助手產品Kimi Chat。20萬漢字是目前全球市場上能夠產品化使用的大模型服務中所能支持的最長上下文輸入長度，目前，全球大多數大語言模型的輸入長度都在2K以內，以輸入長度是2048為例，其含義是模型一次性接受輸入的tokens數量為2048個，而一般tokens換算到單詞的比例是75%左右，也就是2K模型的輸入一般只能支持2048*0.75=1500個英文單詞的輸入。

換算成漢字方面，一個實際使用效果能夠支持約20萬漢字的上下文，是2.5倍于Anthropic公司的Claude-100k（實測約8萬字），8倍于OpenAI公司的GPT-4-32k（實測約2.5萬字），如果Moonshot AI的能力屬實，這標志著Moonshot AI在這一重要技術上取得了世界領先水平。

目前，Moonshot AI的智能助手產品Kimi Chat已開放了內測。（界面）