クラス: 評価<R, E, M>

TypeScript SDK リファレンス

weave / 評価

一連の scorer とデータセットを含む評価を設定します。

evaluation.evaluate(model) を呼び出すと、データセットの各行がモデルに渡されます。このとき、 データセットの列名が model.predict の引数名に対応付けられます。

その後、すべての scorer が呼び出され、結果が weave に保存されます。

Example

// examples をデータセットに収集する
const dataset = new weave.Dataset({
  id: 'my-dataset',
  rows: [
    { question: 'What is the capital of France?', expected: 'Paris' },
    { question: 'Who wrote "To Kill a Mockingbird"?', expected: 'Harper Lee' },
    { question: 'What is the square root of 64?', expected: '8' },
  ],
});

// カスタムスコアリング関数を定義する
const scoringFunction = weave.op(function isEqual({ modelOutput, datasetRow }) {
  return modelOutput == datasetRow.expected;
});

// 評価する関数を定義する
const model = weave.op(async function alwaysParisModel({ question }) {
  return 'Paris';
});

// 評価を開始する
const evaluation = new weave.Evaluation({
  id: 'my-evaluation',
  dataset: dataset,
  scorers: [scoringFunction],
});

const results = await evaluation.evaluate({ model });

​

タイプパラメーター

名	タイプ
R	extends DatasetRow
E	extends DatasetRow
M	M

​

階層

• WeaveObject

  ↳ Evaluation

​

目次

​

コンストラクタ

• コンストラクタ

​

プロパティ

• __savedRef

​

アクセサ

• 説明
• 名

​

Methods

• evaluate
• predictAndScore
• saveAttrs

​

コンストラクタ

​

コンストラクタ

• new 評価<R, E, M>(parameters): 評価<R, E, M>

​

型パラメーター

名	タイプ
R	extends DatasetRow
E	extends DatasetRow
M	M

​

パラメーター

名	タイプ
parameters	EvaluationParameters<R, E, M>

​

戻り値

評価<R, E, M>

​

オーバーライド

WeaveObject.constructor

​

定義場所

src/evaluation.ts:150

​

プロパティ

​

__savedRef

• Optional __savedRef: ObjectRef | Promise<ObjectRef>

​

継承元

WeaveObject.__savedRef

​

定義場所

src/weaveObject.ts:71

​

アクセサ

​

description

• get description(): undefined | string

​

戻り値

undefined | string

​

継承元

WeaveObject.description

​

定義場所

src/weaveObject.ts:98

---

​

名

• get name(): string

​

戻り値

string

​

継承元

WeaveObject.name

​

定義場所

src/weaveObject.ts:94

​

Methods

​

evaluate

▸ evaluate(«destructured»): Promise<Record<string, any>>

​

パラメーター

名	タイプ	デフォルト値
«destructured»	Object	undefined
› maxConcurrency?	number	5
› model	WeaveCallable<(…args: [{ datasetRow: R }]) => Promise<M>>	undefined
› nTrials?	number	1

​

戻り値

Promise<Record<string, any>>

​

定義場所

src/evaluation.ts:165

---

​

predictAndScore

▸ predictAndScore(«destructured»): Promise<{ model_latency: number = modelLatency; model_output: any = modelOutput; model_success: boolean = !modelError; scores: { [key: string]: any; } }>

​

パラメーター

名	タイプ
«destructured»	Object
› columnMapping?	ColumnMapping<R, E>
› example	R
› model	WeaveCallable<(…args: [{ datasetRow: E }]) => Promise<M>>

​

戻り値

Promise<{ model_latency: number = modelLatency; model_output: any = modelOutput; model_success: boolean = !modelError; scores: { [key: string]: any; } }>

​

定義場所

src/evaluation.ts:244

---

​

saveAttrs

▸ saveAttrs(): Object

​

戻り値

Object

​

継承元

WeaveObject.saveAttrs

​

定義場所

src/weaveObject.ts:75