Spring AI 1.0.0 新变化，从 0.8.1 如何升级

Spring AI 1.0.0-M1 版本已经发布，距离 1.0.0 正式版又更近了一步。同时这也意味着，Spring AI 1.0.0 的 API 已经基本确定，不会发生大的改动。这里介绍一下，相对于上一个发布版本 0.8.1，Spring AI 1.0.0 的一些重要的变化。

首先是把与 AI 模型进行交互的 ModelClient 拆分成了两个接口。Model 接口负责与模型进行交互，承接了之前的 ModelClient 的功能。Client 则负责创建调用 Model 时的请求，以及对 Model 返回的结果进行解析。每个不同类型的 Model ，都应该有与之对应的 Client。目前来说，只提供了与 ChatModel 对应的 ChatClient。ChatClient 提供的是流式 API 接口，在设计上类似 Spring 中已有的 RestClient 和 WebClient。

ChatClient 由 ChatClient.Builder 来负责创建。在创建时，可以配置 ChatClient 的默认行为。ChatClient 的流式 API，可以对发送给 ChatModel 的 Prompt 进行配置，并对返回的 ChatResponse 进行解析。

使用了 ChatClient 的流式 API 之后，调用大模型并返回结果的基本方式如下所示。

javascript">String output = chatClient.prompt().user(input).call().content();

第二个改动是增加了 RequestResponseAdvisor 接口。这个接口的作用是对发送给模型的请求和得到的响应，进行统一的处理。从接口名称中可以看出来，用到的是 AOP 的思想。多个 Advisor 可以串联成一个链条，依次对请求和响应进行处理。多个 Advisor 通过一个 Map 来共享上下文。Spring AI 提供了一些内置的 RequestResponseAdvisor 实现，包括在请求中添加历史消息，以及实现基于向量数据库的问答功能。

javascript">public interface RequestResponseAdvisor {


  default AdvisedRequest adviseRequest(AdvisedRequest request, Map<String, Object> context) {
    return request;
  }


  default ChatResponse adviseResponse(ChatResponse response, Map<String, Object> context) {
    return response;
  }


  default Flux<ChatResponse> adviseResponse(Flux<ChatResponse> fluxResponse, Map<String, Object> context) {
    return fluxResponse;
  }


}

第三个改动是添加了内置的 Memory 支持，也就是 ChatMemory 接口，以及一个基于内存中的 ConcurrentHashMap 的实现。

public interface ChatMemory {


  default void add(String conversationId, Message message) {
    this.add(conversationId, List.of(message));
  }


  void add(String conversationId, List<Message> messages);


  List<Message> get(String conversationId, int lastN);


  void clear(String conversationId);


}

ChatMemory 一般与 RequestResponseAdvisor 搭配使用，以非侵入的方式实现消息历史记录功能。Spring AI 内置提供了 MessageChatMemoryAdvisor 和 PromptChatMemoryAdvisor 两种实现来添加消息历史记录。这两种实现都用到了 ChatMemory。

第四个改动是废弃了解析模型输出的 OutputParser 接口及其实现，改为使用 StructuredOutputConverter 接口及其实现。同样提供了 List、Map 和 Bean 三种内置实现。新的接口及其实现，可以完全替代之前的接口和实现。

第五个改动是新增了对大模型的输出进行评价的 Evaluator 接口，以及一个默认的实现 RelevancyEvaluator。该默认实现使用大模型来进行评价。

public interface Evaluator {


  EvaluationResponse evaluate(EvaluationRequest evaluationRequest);


}

第六个改动是新增了 DocumentRetriever 接口，表示根据查询条件，获取相关的文档。

java">public interface DocumentRetriever extends Function<String, List<Document>> {


  List<Document> retrieve(String query);


  default List<Document> apply(String query) {
    return retrieve(query);
  }


}

以上就是 Spring AI 1.0.0 中比较大的变化。

下面看一下怎么从 Spring AI 0.8.1 升级到 1.0.0。最大的改动来自于 ChatClient。Spring Boot 的自动配置功能，不会再创建 ChatClient 对象，取而代之的是创建 ChatClient.Builder 对象，需要从 Builder 中创建出 ChatClient。

Spring Boot 的自动配置功能会创建 ChatModel。也可以自己创建 Builder 对象。在创建 Builder 对象时必须提供的是 ChatModel。ChatClient 的使用方式也发生了变化，根据新的 API 来调整即可。

下面的代码展示了如何从自定义的 ChatClient.Builder 中创建出 ChatClient。

java">public class AppConfiguration {


  @Bean
  public ChatClient chatClient(ChatModel chatModel) {
    return ChatClient.builder(chatModel).build();
  }
}

如果使用了解析输出的 OutputParser 接口，把每个 OutputParser 实现替换成对应的 StructuredOutputConverter 实现即可。比如，ListOutputParser 替换成 ListOutputConverter。解析时调用的方法，从 parse 改成 convert 即可。功能上并没有什么变化。

其他的功能属于新增的内容，对使用 Spring AI 0.8.1 的代码并没有影响。