Network

Network의 구성

Agent의 Network는 Actor과 Critic이 존재한다.

두 Network 모두 Agent가 가진 State를 Input으로 하고 action을 리턴하거나, action value를 리턴한다.

RNNLayer를 사용한다.

Association Constraints

UAV는 모든 User와 Association을 동시에 맺을 수는 없다 (Q_m[n] = 4)

MBS는 모두와 가능하다. (Q_b[n] = Num_User)

action_out

action_space의 type에 따라서 action_out의 type 또한 달라진다.

self.action_out = Categorical(inputs_dim, action_dim, use_orthogonal, gain)

self.action_out = DiagGaussian(inputs_dim, action_dim, use_orthogonal, gain)

self.action_out = Bernoulli(inputs_dim, action_dim, use_orthogonal, gain)