Amazon Bedrockのモデル実行結果をStreamで受け取る方法
LLMを使用したアプリの開発では、ユーザーの待ち時間内にインタラクションを作成するために、Streamを使ってレスポンスを処理するのが一般的です。Amazon Bedrockでホストされているモデルを呼び出す際に、Streamでレスポンスを受け取る方法について調査しました。Bedrock Runtime ClientのInvokeModelWithResponseStreamを使用することで、Streamでの受け取りが可能です。ただし、必須項目としてmax_tokens_to_sampleを指定する必要があります。また、Claudeを使用する場合には、「Assistant:」で終わらせる必要があります。
