书本3.4.1节动作价值函数提到动作的期望依赖于π，所以动作价值函数的下标有π。那么状态的期望不还依赖于状态转移函数p吗，为什么动作价值函数的下标不带p （因为前一节一直提到动作和状态两个随机性，这里就自然而然想到这个问题） 
书本3.4.1节动作价值函数提到动作的期望依赖于π，所以动作价值函数的下标有π。那么状态的期望不还依赖于状态转移函数p吗，为什么动作价值函数的下标不带p （因为前一节一直提到动作和状态两个随机性，这里就自然而然想到这个问题）
