struct

Llama::RunState

Inherits Struct < Value < Object

Constructors

new(config : TransformerConfig)

Instance methods

att

att=(att : Array(Float32))

hb

hb2

hb2=(hb2 : Array(Float32))

hb=(hb : Array(Float32))

k

k=(k : ArrayView(Float32))

key_cache

key_cache=(key_cache : Array(Float32))

logits

logits=(logits : Array(Float32))

q

q=(q : Array(Float32))

v

v=(v : ArrayView(Float32))

value_cache

value_cache=(value_cache : Array(Float32))

x

x=(x : Array(Float32))

xb

xb2

xb2=(xb2 : Array(Float32))

xb=(xb : Array(Float32))