指导

QlibRL可以帮助用户快速入门，并方便地实现基于强化学习（RL）算法的量化策略。对于不同的用户群体，我们推荐以下指导来使用QlibRL。

强化学习算法的初学者

无论您是希望了解RL在交易中能做什么的量化研究者，还是希望在交易场景中入门RL算法的学习者，如果您对RL的了解有限，并希望屏蔽各种详细设置以快速入门RL算法，我们推荐以下学习顺序来学习qlibrl：

在`第一部分 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#reinforcement-learning>`_中学习RL的基础知识。
在`第二部分 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#potential-application-scenarios-in-quantitative-trading>`_中了解RL方法可以应用的交易场景。
运行 part3 中的示例，以使用强化学习解决交易问题。
如果您想进一步探索 QlibRL 并进行一些自定义，您需要首先了解 part4 中 QlibRL 的框架，并根据您的需求重写特定组件。

如果您已经熟悉现有的强化学习算法，并致力于研究强化学习算法，但在金融领域缺乏领域知识，并且想要验证您的算法在金融交易场景中的有效性，我们建议您按照以下步骤开始使用 QlibRL：

在`第二部分 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#potential-application-scenarios-in-quantitative-trading>`_中了解RL方法可以应用的交易场景。
选择一个强化学习应用场景（目前，QlibRL 已实现两个场景示例：订单执行和算法交易）。运行 part3 中的示例以使其工作。
修改 policy 部分，以结合您自己的强化学习算法。

如果您具备一定的金融领域知识和编码技能，并且想要探索强化学习算法在投资领域的应用，我们建议您按照以下步骤探索 QlibRL：

在`第一部分 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#reinforcement-learning>`_中学习RL的基础知识。
在`第二部分 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#potential-application-scenarios-in-quantitative-trading>`_中了解RL方法可以应用的交易场景。
运行 part3 中的示例，以使用强化学习解决交易问题。
了解 part4 中 QlibRL 的框架。
根据您想要解决的问题的特征选择合适的强化学习算法（目前，QlibRL 支持基于 tianshou 的 PPO 和 DQN 算法）。
根据市场交易规则和您想要解决的问题设计 MDP（马尔可夫决策过程）。参考订单执行中的示例，并对以下模块进行相应修改：State，Metrics，ActionInterpreter，StateInterpreter，Reward，Observation，Simulator。