日本一道一区二区视频,国产午夜亚洲精品国产成人,国产精品国产三级国产av主播 ,99热久久这里只精品国产99,99热久久这里只精品国产99

隨著中國(guó)新型電力系統(tǒng)建設(shè)和電力市場(chǎng)進(jìn)程的不斷推進(jìn)，火力發(fā)電商面臨的市場(chǎng)壓力與日俱增。在未來(lái)較長(zhǎng)時(shí)期，火電作為電力系統(tǒng)壓艙石的地位不會(huì)改變。

《中國(guó)電力》2024年第11期刊發(fā)了張興平等撰寫(xiě)的《基于多智能體深度確定策略梯度算法的火力發(fā)電商競(jìng)價(jià)策略》一文。文章提出基于MADDPG的火力發(fā)電商競(jìng)價(jià)策略模型，在不完全信息環(huán)境下與發(fā)電商競(jìng)價(jià)策略相結(jié)合，優(yōu)化發(fā)電商在多維連續(xù)動(dòng)作以及狀態(tài)空間下的報(bào)價(jià)報(bào)量策略，研究市場(chǎng)效益最大化目標(biāo)下各類(lèi)型機(jī)組的最優(yōu)決策，明確不同火電機(jī)組的市場(chǎng)定位；比較不同出清機(jī)制下的市場(chǎng)出清結(jié)果，分析不同出清機(jī)制的適用性，并探討新能源滲透率對(duì)各種不同出清機(jī)制的影響。

摘要

火電是新型電力系統(tǒng)的重要支撐，研究火力發(fā)電商的競(jìng)價(jià)策略以及不同出清機(jī)制的影響，對(duì)保障其低碳高效運(yùn)營(yíng)具有重要意義。構(gòu)建基于多智能體深度確定策略梯度算法的競(jìng)價(jià)策略模型，分析不同火力發(fā)電商組合的競(jìng)價(jià)差異化策略，優(yōu)化多主體報(bào)價(jià)報(bào)量策略，探究邊際統(tǒng)一出清、按報(bào)價(jià)支付出清和隨機(jī)匹配出清3種典型出清機(jī)制的市場(chǎng)影響。結(jié)果表明，該策略模型可引導(dǎo)火力發(fā)電商采取合理的競(jìng)價(jià)方式以提高市場(chǎng)效率；在新能源滲透率較低時(shí)，不同出清機(jī)制對(duì)各類(lèi)型機(jī)組的影響有所不同；隨著新能源滲透率的提高，采用按報(bào)價(jià)支付出清機(jī)制可以兼顧經(jīng)濟(jì)和環(huán)境效益；當(dāng)新能源滲透率達(dá)到較高水平時(shí)，采用隨機(jī)匹配出清機(jī)制可有效應(yīng)對(duì)市場(chǎng)波動(dòng)風(fēng)險(xiǎn)。

01月度集中電力市場(chǎng)出清機(jī)制理論

1.1  集中撮合交易基本原理

中國(guó)月度集中電力市場(chǎng)采用集中撮合交易的方式，交易組織者將發(fā)電商申報(bào)電量按各申報(bào)價(jià)格從低到高排序形成供給曲線，將購(gòu)電商按各申報(bào)價(jià)格從高到低排序形成需求曲線，并依照排序依次撮合購(gòu)售雙方成交，如圖1所示。若匹配的需求方與供給方申報(bào)的電量相同，則直接形成交易對(duì)；若匹配的需求方與供給方申報(bào)成交的電量不同，則進(jìn)行交易，未完成的交易與下一個(gè)交易對(duì)進(jìn)行匹配，形成新的交易，直至全部申報(bào)購(gòu)電量或售電量為零，或購(gòu)售雙方申報(bào)價(jià)差為負(fù)為止。而基于集中撮合交易方式下的出清機(jī)制各不相同，不同的出清機(jī)制會(huì)影響市場(chǎng)的出清結(jié)果。

圖1  月度集中市場(chǎng)撮合競(jìng)價(jià)過(guò)程

Fig.1  Matching bidding process in the monthly centralized market

1.2  電力市場(chǎng)出清機(jī)制

1.2.1  邊際統(tǒng)一出清機(jī)制

邊際統(tǒng)一出清機(jī)制是在集中撮合交易原理下，以最后一筆交易雙方申報(bào)電價(jià)的平均值作為市場(chǎng)撮合交易統(tǒng)一出清價(jià)格。邊際統(tǒng)一出清機(jī)制在中國(guó)電力現(xiàn)貨試點(diǎn)市場(chǎng)以及中長(zhǎng)期市場(chǎng)使用范圍最廣，如廣東就采用邊際出清方式形成價(jià)格。

1.2.2  按報(bào)價(jià)支付出清機(jī)制

按報(bào)價(jià)支付出清機(jī)制是在集中撮合交易原理下，采用每個(gè)成交交易對(duì)的申報(bào)價(jià)格平均值作為雙方出清價(jià)格。有部分地區(qū)采用按比例對(duì)需求雙方的電價(jià)進(jìn)行分配，比如山西和河南采用按報(bào)價(jià)支付出清機(jī)制形成價(jià)格。湖南、江蘇和陜西既采用邊際出清方式，也采用交易對(duì)均價(jià)出清方式。

發(fā)電商i與購(gòu)電商j的單筆成交價(jià)格為

式中：pij為成交價(jià)格；為發(fā)電商報(bào)價(jià)；為購(gòu)電商報(bào)價(jià)。

當(dāng)發(fā)電商i與k個(gè)購(gòu)電商成交時(shí)，交易均價(jià)pi為

式中：為發(fā)電商i和購(gòu)電商j在月度集中市場(chǎng)成交的電量。

1.2.3  隨機(jī)匹配出清機(jī)制

隨機(jī)匹配出清是在按報(bào)價(jià)支付出清規(guī)則基礎(chǔ)上提出的，發(fā)電商按照申報(bào)價(jià)格由低到高進(jìn)行排序，依次隨機(jī)選擇申報(bào)價(jià)格高于自身報(bào)價(jià)的任意購(gòu)電商進(jìn)行交易，若匹配完成后進(jìn)行下一次競(jìng)價(jià)匹配，直至全部申報(bào)購(gòu)電量或售電量為零，或購(gòu)售雙方申報(bào)價(jià)差為負(fù)。隨機(jī)匹配出清機(jī)制下，造成發(fā)電商利潤(rùn)低的原因除了雙方成交價(jià)格低外，還可能是隨機(jī)匹配時(shí)選取了一個(gè)出價(jià)較低的購(gòu)電商，對(duì)發(fā)電商的競(jìng)價(jià)行為有一定程度的影響。

本文考慮將隨機(jī)匹配出清機(jī)制結(jié)合多智能體深度確定性策略梯度算法，隨機(jī)匹配機(jī)制下發(fā)電商會(huì)隨機(jī)選擇高于自身報(bào)價(jià)的任意購(gòu)電商，在多智能體深度確定性策略梯度算法下，每一輪迭代中各智能體會(huì)根據(jù)上一次迭代求得的利潤(rùn)重新調(diào)整策略。隨機(jī)匹配出清機(jī)制不僅可以減少電力市場(chǎng)中主體串謀的概率，而且可以增加市場(chǎng)的交易量，但增加交易電量的同時(shí)可能會(huì)導(dǎo)致碳排放量增加，且隨機(jī)匹配存在一定的不穩(wěn)定性，因此對(duì)該機(jī)制的利弊有必要進(jìn)一步探討。

02基于多智能體的火力發(fā)電商競(jìng)價(jià)策略模型

月度集中競(jìng)價(jià)市場(chǎng)的參與主體主要包括發(fā)電商和購(gòu)電商，在電力市場(chǎng)中的競(jìng)價(jià)交易屬于不完全信息動(dòng)態(tài)博弈問(wèn)題，市場(chǎng)參與者在不同出清機(jī)制下尋求自身利益最大化的策略，進(jìn)而通過(guò)相互作用形成市場(chǎng)整體的交易結(jié)果。市場(chǎng)成員參與市場(chǎng)的目的和行為相對(duì)獨(dú)立，在基于多智能體的電力市場(chǎng)框架中，發(fā)電商被設(shè)計(jì)成獨(dú)立的且能夠?qū)崿F(xiàn)交互作用的智能體，市場(chǎng)出清信息反饋至各個(gè)智能體，通過(guò)不斷迭代積累經(jīng)驗(yàn)，得到均衡狀態(tài)下的各發(fā)電商競(jìng)價(jià)行為。基于MADDPG的發(fā)電商競(jìng)價(jià)框架模型如圖2所示。

圖2  基于多智能體深度確定性策略梯度算法下的發(fā)電商競(jìng)價(jià)模型框架

Fig.2  Bidding model framework for power generation companies based on MADDPG

2.1  火力發(fā)電商競(jìng)價(jià)模型

2.1.1  目標(biāo)函數(shù)

發(fā)電商以自身收益最大化為目標(biāo)參與競(jìng)價(jià)，主要通過(guò)出售電量的方式獲取收入，目標(biāo)函數(shù)為

式中：Ri為發(fā)電商i在當(dāng)月集中競(jìng)價(jià)中的收入；pij為發(fā)電商i與購(gòu)電商j的出清電價(jià)；為發(fā)電商i在集中競(jìng)價(jià)中申報(bào)的電量；Ci為發(fā)電商i的總?cè)济撼杀荆?em>C為碳排放成本；為發(fā)電商i和購(gòu)電商j在月度集中市場(chǎng)成交的電量；為購(gòu)電商j在集中競(jìng)價(jià)中申報(bào)的電量。

2.1.2  火力發(fā)電商運(yùn)行成本

燃煤機(jī)組的供電煤耗率u可表示為

式中：P為機(jī)組的出力；a、b、c分別為機(jī)組的特性系數(shù)，與機(jī)組的類(lèi)型、燃燒品質(zhì)等因素有關(guān)。

發(fā)電商的機(jī)組報(bào)價(jià)依據(jù)以邊際成本為主，燃煤機(jī)組的邊際成本可表示為

式中：S為煤價(jià)；C為燃煤機(jī)組的總?cè)济撼杀荆?em>C為燃煤機(jī)組的邊際成本，通過(guò)計(jì)算各發(fā)電商在本月的平均負(fù)荷率來(lái)計(jì)算燃煤機(jī)組的邊際成本。

2.1.3  碳市場(chǎng)交易成本

目前中國(guó)碳排放額分配主要通過(guò)免費(fèi)分配的方式進(jìn)行，發(fā)電商根據(jù)碳排放實(shí)際情況考慮買(mǎi)入或是賣(mài)出碳排放權(quán)。初始碳排放權(quán)的分配為

式中：為企業(yè)i獲取的初始碳排放額；B為單位產(chǎn)量的碳配額基準(zhǔn)值；qi為發(fā)電商i在集中競(jìng)價(jià)市場(chǎng)交易的總電量，即實(shí)際發(fā)電量；為發(fā)電商i負(fù)荷系數(shù)修正系數(shù)；為發(fā)電商i的總碳排放量；為發(fā)電商i的碳排放因子，通過(guò)各類(lèi)型機(jī)組的典型發(fā)電碳排放因子和發(fā)電量估算得到；w為碳價(jià)。C＞0表明發(fā)電商為賣(mài)方可出售配額；

2.2  馬爾可夫博弈模型設(shè)計(jì)

多智能體強(qiáng)化學(xué)習(xí)（multi-agent reinforcement learning，MARL）主要研究在復(fù)雜環(huán)境中訓(xùn)練多智能體通過(guò)協(xié)作或競(jìng)爭(zhēng)達(dá)到目標(biāo)，每個(gè)智能體在選擇動(dòng)作的同時(shí)會(huì)觀察其他智能體的信息，MADDPG可以有效模擬發(fā)電商在不完全信息市場(chǎng)下的競(jìng)價(jià)策略。發(fā)電商的競(jìng)價(jià)策略可以模擬為馬爾可夫博弈過(guò)程，設(shè)置對(duì)應(yīng)的環(huán)境、狀態(tài)空間、動(dòng)作空間以及獎(jiǎng)勵(lì)。

1）環(huán)境：將不同出清機(jī)制下的電力月度集中競(jìng)價(jià)市場(chǎng)作為多智能體的外部環(huán)境，設(shè)置智能體發(fā)電商，在環(huán)境中各火力發(fā)電商不了解對(duì)方的申報(bào)價(jià)格以及申報(bào)電量，是一個(gè)不完全信息的環(huán)境，通過(guò)競(jìng)價(jià)策略來(lái)獲得更高的利益。而MADDPG中引入智能體協(xié)作的功能，各智能體發(fā)電商會(huì)根據(jù)其他智能體的行為來(lái)追求獎(jiǎng)勵(lì)最大化。

2）狀態(tài)空間：采用發(fā)電商上一次的申報(bào)電量、申報(bào)電價(jià)以及成交電量在月度市場(chǎng)總需求中的占比作為狀態(tài)空間s，如式（13）所示，狀態(tài)變量能夠幫助發(fā)電商制定更優(yōu)的競(jìng)價(jià)策略。

式中：為發(fā)電商i上一次的申報(bào)電價(jià)；為發(fā)電商i申報(bào)電價(jià)的最大值；為發(fā)電商i上一次的申報(bào)電量；為發(fā)電商i申報(bào)電量的最大值；為市場(chǎng)總需求量。

3）動(dòng)作空間：將動(dòng)作值設(shè)定為一個(gè)二元組，根據(jù)月度集中競(jìng)價(jià)市場(chǎng)中發(fā)電商報(bào)量報(bào)價(jià)的方式設(shè)計(jì)動(dòng)作空間，在月度集中競(jìng)價(jià)電力市場(chǎng)中發(fā)電商的申報(bào)電量以及申報(bào)電價(jià)都將影響發(fā)電商的收益。α為發(fā)電商的策略報(bào)價(jià)系數(shù)，β為發(fā)電商的策略報(bào)量系數(shù)。智能體發(fā)電商采用αC的報(bào)價(jià)方式，以及的報(bào)量方式，α和β的取值范圍可根據(jù)實(shí)際競(jìng)價(jià)規(guī)則進(jìn)行修改。

4）獎(jiǎng)勵(lì)：發(fā)電商通過(guò)計(jì)算式（3）得到各自的收益作為獎(jiǎng)勵(lì)函數(shù)，通過(guò)多智能體之間的協(xié)作尋求市場(chǎng)整體效率最大化。

2.3  多智能體深度確定性策略梯度算法

MADDPG在Actor-Critic框架下處理多智能體問(wèn)題，每一個(gè)智能體都有不同的學(xué)習(xí)能力、學(xué)習(xí)速度以及社交網(wǎng)絡(luò)。每一個(gè)智能體都有一個(gè)獨(dú)立的Actor網(wǎng)絡(luò)用于學(xué)習(xí)策略，有一個(gè)Critic網(wǎng)絡(luò)用于估計(jì)動(dòng)作的值函數(shù)。Critic網(wǎng)絡(luò)的輸入包含智能體的狀態(tài)以及動(dòng)作等信息，在Critic網(wǎng)絡(luò)中每一個(gè)智能體在計(jì)算梯度的同時(shí)會(huì)考慮其他智能體的策略，能夠更好地實(shí)現(xiàn)協(xié)同與競(jìng)爭(zhēng)，適用于電力市場(chǎng)中復(fù)雜的市場(chǎng)環(huán)境。

MADDPG采用深度確定性策略，策略梯度可以表示為

式中：表示集中的動(dòng)作值函數(shù)，包括所有智能體的動(dòng)作

神經(jīng)網(wǎng)絡(luò)進(jìn)行Q值計(jì)算時(shí)很容易出現(xiàn)不穩(wěn)定的情況，從而影響下一次的更新迭代。為降低算法的波動(dòng)性，MADDPG中復(fù)制了Actor網(wǎng)絡(luò)以及Critic網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)，形成當(dāng)前網(wǎng)絡(luò)以及目標(biāo)網(wǎng)絡(luò)，有利于智能體更有效學(xué)習(xí)更好的策略，通過(guò)最小化每個(gè)智能體的損失函數(shù)來(lái)優(yōu)化更新參數(shù)。Critic當(dāng)前網(wǎng)絡(luò)的損失函數(shù)為

式中：L(θi)為損失函數(shù)；為Critic目標(biāo)網(wǎng)絡(luò)參數(shù)θi的策略集；ri為智能體所獲得的獎(jiǎng)勵(lì)；y為目標(biāo)Q值；γ為折扣系數(shù)；為目標(biāo)Critic網(wǎng)絡(luò)的值函數(shù)。

Actor目標(biāo)網(wǎng)絡(luò)以及Critic目標(biāo)網(wǎng)絡(luò)均采用軟更新的方式來(lái)更新網(wǎng)絡(luò)參數(shù)，即

式中：τ為軟更新系數(shù)；分別為當(dāng)前Actor網(wǎng)絡(luò)以及目標(biāo)Actor網(wǎng)絡(luò)的參數(shù)；為當(dāng)前Critic網(wǎng)絡(luò)以及目標(biāo)Critic網(wǎng)絡(luò)的參數(shù)。

2.4  基于MADDPG的發(fā)電商競(jìng)價(jià)策略過(guò)程設(shè)計(jì)

每個(gè)獨(dú)立發(fā)電商均采用智能模式報(bào)價(jià)，ISO收到所有智能體報(bào)價(jià)信息后，根據(jù)市場(chǎng)出清規(guī)則計(jì)算市場(chǎng)出清價(jià)格和各發(fā)電商的出清電量，并將市場(chǎng)出清信息反饋至智能體，智能體根據(jù)競(jìng)價(jià)收益和競(jìng)價(jià)經(jīng)驗(yàn)迭代優(yōu)化后續(xù)競(jìng)價(jià)策略。

具體步驟如下。

1）初始化各發(fā)電商的狀態(tài)、Actor網(wǎng)絡(luò)以及Critic網(wǎng)絡(luò)參數(shù)；設(shè)定迭代最大次數(shù)、經(jīng)驗(yàn)池緩沖區(qū)大小等參數(shù)。

2）計(jì)算各智能體動(dòng)作值，在不同出清機(jī)制下通過(guò)市場(chǎng)出清得到各發(fā)電商的中標(biāo)電量和電價(jià)。根據(jù)式（9）計(jì)算出每個(gè)智能體獎(jiǎng)勵(lì)值，并計(jì)算每個(gè)智能體下一個(gè)時(shí)段的狀態(tài)值。

3）將計(jì)算出的動(dòng)作、狀態(tài)、獎(jiǎng)勵(lì)以及下一時(shí)段的狀態(tài)值儲(chǔ)存在經(jīng)驗(yàn)池中。

4）判斷經(jīng)驗(yàn)池是否溢出。如果經(jīng)驗(yàn)池中樣本數(shù)量小于經(jīng)驗(yàn)池容量，則重復(fù)步驟2）和3）。

5）更新當(dāng)前Actor、當(dāng)前Critic網(wǎng)絡(luò)參數(shù)以及軟更新目標(biāo)Actor、目標(biāo)Critic網(wǎng)絡(luò)參數(shù)。

6）如果迭代次數(shù)大于最大迭代次數(shù)時(shí)，則訓(xùn)練結(jié)束；否則重復(fù)步驟 2）~5）。

03算例分析

3.1  參數(shù)與方案設(shè)置

本文各算例測(cè)試基于NVIDIA RTX 3060Ti Intel(R) Core(TM) i5-13490F CPU實(shí)現(xiàn)。在各算例中，MADDPG算法和市場(chǎng)競(jìng)價(jià)模型均在 Python中執(zhí)行，仿真環(huán)境為T(mén)ensorFlow。本文采用某地區(qū)數(shù)據(jù)進(jìn)行模擬，共有12臺(tái)燃煤發(fā)電機(jī)組，包括300 MW、600 MW和MW燃煤機(jī)組，分別稱(chēng)作小型、中型和大型機(jī)組。將每臺(tái)機(jī)組視作一個(gè)發(fā)電商，相關(guān)技術(shù)參數(shù)根據(jù)實(shí)際數(shù)據(jù)擬合得出，每臺(tái)機(jī)組可申報(bào)電量通過(guò)結(jié)算分解年度電量以及月度雙邊協(xié)商電量后的剩余電量求得，具體信息詳見(jiàn)表1。

表1  發(fā)電商技術(shù)參數(shù)

Table 1  Technical parameter of power generators

參考該地區(qū)月度電力市場(chǎng)規(guī)則，申報(bào)電量不得低于機(jī)組當(dāng)月可申報(bào)電量的10%，設(shè)定機(jī)組報(bào)量系數(shù)β為[0.1,1]；為避免市場(chǎng)力操縱及惡性競(jìng)爭(zhēng)需要對(duì)報(bào)價(jià)設(shè)置上下限，設(shè)定機(jī)組報(bào)價(jià)系數(shù)α為[0.8,1.2]。本文主要目標(biāo)是研究發(fā)電商的競(jìng)價(jià)策略，因此僅考慮設(shè)置發(fā)電商為智能體，購(gòu)電側(cè)通過(guò)實(shí)際數(shù)據(jù)將購(gòu)電商的申報(bào)電價(jià)及申報(bào)電量按區(qū)間進(jìn)行劃分。

為探討不同類(lèi)型發(fā)電機(jī)組在策略性報(bào)價(jià)報(bào)量下的競(jìng)價(jià)策略，對(duì)設(shè)置為智能體的發(fā)電機(jī)組進(jìn)行組合，如表2所示。設(shè)置為智能體的發(fā)電機(jī)組可以參與策略性競(jìng)價(jià)，在設(shè)定的范圍內(nèi)調(diào)整自身報(bào)價(jià)以及報(bào)量；未設(shè)置為智能體的發(fā)電機(jī)組采取邊際成本報(bào)價(jià)的方式。

表2  不同智能體組合方案

Table 2  Different agent combination schemes

3.2  不同出清機(jī)制下智能體組合方案結(jié)果

3.2.1  排放收益率對(duì)比

考慮到低碳轉(zhuǎn)型的長(zhǎng)期性和市場(chǎng)機(jī)制的前瞻性需求，電力市場(chǎng)的發(fā)展需要兼顧碳減排與經(jīng)濟(jì)效益，因此本文用總收益與碳排放量的比值（即排放收益率）來(lái)衡量市場(chǎng)出清的效率，評(píng)估不同出清機(jī)制下多主體參與策略性競(jìng)價(jià)的效果。如表3所示，未設(shè)置任何智能體方案（S8）的碳排放收益率最低，設(shè)置智能體的方案能進(jìn)一步優(yōu)化機(jī)組競(jìng)價(jià)決策，因此方案S8不列入對(duì)比中。

表3  排放收益率

Table 3  Emission return rate of different clearing mechanisms

在所有設(shè)置智能體的方案中，機(jī)組聯(lián)合參與策略性競(jìng)價(jià)下的碳排放收益率整體明顯高于單獨(dú)參與策略性競(jìng)價(jià)，發(fā)電機(jī)組能夠根據(jù)更多的信息優(yōu)化各自的競(jìng)價(jià)策略，提高市場(chǎng)效率。而當(dāng)所有類(lèi)型機(jī)組共同聯(lián)合時(shí)（方案S7），各類(lèi)型機(jī)組可以在共享信息的同時(shí)做出最優(yōu)的決策，找準(zhǔn)自身的市場(chǎng)定位，取得最佳的碳排放收益。

S3以及S6方案下的碳排放收益率較低，S4與S7方案下碳排放收益率較高。S4與S7均有小型機(jī)組參與而S3與S6只包含中大型機(jī)組，盡管小型機(jī)組的技術(shù)性能不如中型及大型發(fā)電機(jī)組，但小型機(jī)組在市場(chǎng)中占比仍然比較高，其競(jìng)價(jià)策略對(duì)市場(chǎng)起到重要性作用，可以幫助市場(chǎng)進(jìn)一步調(diào)整，提高整體的市場(chǎng)效率。

算例結(jié)果表明，設(shè)置智能體組合方案可以進(jìn)一步優(yōu)化機(jī)組的決策，并且機(jī)組聯(lián)合參與策略性競(jìng)價(jià)比單獨(dú)參與策略性競(jìng)價(jià)效果更好。所有類(lèi)型發(fā)電機(jī)組聯(lián)合參與策略性競(jìng)價(jià)時(shí)碳排放收益率最高，同時(shí)小型機(jī)組參與策略性競(jìng)價(jià)對(duì)目前電力市場(chǎng)效率的提高起到重要作用。

3.2.2  不同定價(jià)機(jī)制的適用性分析

不同智能體組合在不同出清機(jī)制下的出清結(jié)果如圖3所示。所有機(jī)組同時(shí)采用策略競(jìng)價(jià)（S7）以及大型和小型機(jī)組聯(lián)合采用策略競(jìng)價(jià)（S5）的情景下，按報(bào)價(jià)支付出清以及邊際統(tǒng)一出清機(jī)制的出清結(jié)果近似，都優(yōu)于隨機(jī)匹配出清機(jī)制。而不同方案下各類(lèi)型機(jī)組所面臨的環(huán)境有所差異，因此對(duì)應(yīng)的行為決策也不同。

圖3  不同智能體組合下市場(chǎng)出清結(jié)果對(duì)比

Fig.3  Comparison of market clearing results under different agent combinations

1）按報(bào)價(jià)支付出清機(jī)制更適合于小型和大型發(fā)電機(jī)組分別參與策略性競(jìng)價(jià)（S1和S3）的情況。小型機(jī)組邊際成本較高，大型機(jī)組邊際成本較低，小型機(jī)組單獨(dú)參與策略性競(jìng)價(jià)時(shí)（S1）會(huì)選擇讓渡大部分發(fā)電空間給中型和大型機(jī)組，由于有10%的報(bào)量限制，小型機(jī)組在報(bào)低量的同時(shí)以較低的報(bào)價(jià)保證中標(biāo)來(lái)維持基礎(chǔ)收益；大型機(jī)組單獨(dú)參與策略性競(jìng)價(jià)時(shí)（S3），按報(bào)價(jià)支付出清機(jī)制能夠更充分地讓低成本的大型機(jī)組選擇報(bào)高價(jià)報(bào)高量策略，獲得更多的收益。

2）邊際統(tǒng)一出清機(jī)制更適合于中型機(jī)組單獨(dú)采用參與策略性競(jìng)價(jià)（S2）以及中小型機(jī)組聯(lián)合參與策略性競(jìng)價(jià)（S4）的情況。邊際統(tǒng)一出清機(jī)制的核心是邊際出清價(jià)格，該機(jī)制下邊際機(jī)組出清價(jià)格十分重要。在集中撮合交易中，中型以及部分小型機(jī)組的排序位于靠近供需雙方邊際交點(diǎn)的位置，大型與部分小型機(jī)組的報(bào)價(jià)對(duì)出清價(jià)格影響有限。在方案S2與S4下，部分機(jī)組會(huì)選擇犧牲中標(biāo)電量而選擇高報(bào)價(jià)，以期成為邊際出清位置的機(jī)組來(lái)提高整個(gè)市場(chǎng)的出清價(jià)格，使得整體的收益總量達(dá)到更高水平，因此邊際統(tǒng)一出清機(jī)制更適合中型機(jī)組參與策略性競(jìng)價(jià)的方案。

3）隨機(jī)匹配出清則更適合于中型和大型機(jī)組聯(lián)合參與策略性競(jìng)價(jià)（S6）的情況。在隨機(jī)匹配出清機(jī)制下，所有出價(jià)高于發(fā)電商的購(gòu)電商都可以參與匹配過(guò)程，因此隨機(jī)匹配出清機(jī)制下可以降低交易風(fēng)險(xiǎn)，提高市場(chǎng)的交易效率。在中型和大型機(jī)組聯(lián)合參與策略性競(jìng)價(jià)（S6）時(shí)，中型與大型機(jī)組可以通過(guò)抬高報(bào)價(jià)提高成交交易對(duì)的價(jià)格，隨機(jī)匹配機(jī)制下市場(chǎng)成交量大幅上升，方案S6下市場(chǎng)通過(guò)高成交量高成交價(jià)格來(lái)提高整個(gè)市場(chǎng)的效率。

3.3  最優(yōu)智能體組合方案競(jìng)價(jià)策略分析

3.3.1  各發(fā)電商競(jìng)價(jià)行為分析

所有機(jī)組聯(lián)合參與策略性競(jìng)價(jià)下的方案中，按報(bào)價(jià)支付出清以及邊際統(tǒng)一出清機(jī)制的S7出清結(jié)果均為最優(yōu)，本文選擇方案S7下按報(bào)價(jià)支付出清的結(jié)果進(jìn)一步分析各機(jī)組的行為。圖4展示在S7方案下所有機(jī)組參與策略性競(jìng)價(jià)的行為決策。在訓(xùn)練開(kāi)始時(shí)，發(fā)電機(jī)組由于經(jīng)驗(yàn)不足而不斷探索競(jìng)價(jià)策略，導(dǎo)致波動(dòng)性較大，在學(xué)習(xí)尋優(yōu)的過(guò)程中競(jìng)價(jià)策略以及總收益逐漸趨于收斂。

圖4  報(bào)價(jià)支付出清機(jī)制下機(jī)組報(bào)價(jià)及報(bào)量策略系數(shù)

Fig.4  Strategic coefficient of prices and quantities for units under pay as bid mechanism

小型機(jī)組G6具有邊際成本較低的優(yōu)勢(shì)，因此選擇高申報(bào)價(jià)格和高申報(bào)量的策略，而小型機(jī)組G2在所有發(fā)電機(jī)組中邊際成本最高，通過(guò)提高申報(bào)價(jià)格來(lái)退出市場(chǎng)避免成交后造成負(fù)收益，其余小型機(jī)組均申報(bào)低電量低電價(jià)，將份額讓渡給效率更高的發(fā)電機(jī)組。中型機(jī)組中，邊際成本較低的2臺(tái)機(jī)組選擇高申報(bào)價(jià)格和高申報(bào)量的策略，邊際成本較高的2臺(tái)機(jī)組選擇低申報(bào)價(jià)格和低申報(bào)量的策略。大型機(jī)組都選擇高申報(bào)價(jià)格和高申報(bào)量的策略。在所有機(jī)組聯(lián)合參與策略性競(jìng)價(jià)時(shí)，各機(jī)組盡管在不完全信息條件下追求各自利益的最大化，但可以通過(guò)多智能體深度確定性策略梯度算法中Critic網(wǎng)絡(luò)在迭代過(guò)程中共享全局的信息，從而在一定的市場(chǎng)條件下做出最合理的競(jìng)價(jià)策略，充分發(fā)揮自身優(yōu)勢(shì)，促進(jìn)發(fā)電側(cè)的激勵(lì)相容。

3.3.2  出清結(jié)果分析

圖5是12臺(tái)機(jī)組出清后個(gè)體的收益以及碳排放量，圖6是各類(lèi)型機(jī)組中碳排放收益率最大與最小機(jī)組的供電煤耗率曲線。圖5中，G11與G12為大型機(jī)組，在市場(chǎng)中獲得的收益量高并且收益下的碳排放量低；G6與G9分別為小型與中型機(jī)組，在市場(chǎng)中的排放收益率僅次于大型機(jī)組；G3與G10則是小型與中型機(jī)組中排放收益率最低的機(jī)組。由圖6可以看出，G3與G10的供電煤耗曲線高于G6以及G9。在方案S7下各發(fā)電機(jī)組做出最合理的競(jìng)價(jià)策略，讓煤耗及運(yùn)行成本較高的機(jī)組更少地參與市場(chǎng)，煤耗較低的機(jī)組多參與市場(chǎng)，充分發(fā)揮各主體的優(yōu)勢(shì)。

圖5  機(jī)組出清結(jié)果對(duì)比

Fig.5  Comparison of unit clearing results

圖6  部分機(jī)組供電煤耗率曲線

Fig.6  Coal consumption rate curve for power supply of some units

圖7展示了各類(lèi)機(jī)組的收益情況。由圖7可看出，模擬場(chǎng)景期限內(nèi)，在均衡狀態(tài)下小型以及中型機(jī)組的收益水平近乎相同，維持在600萬(wàn)元左右，而大型機(jī)組的收益維持在萬(wàn)元左右，總體收益約為萬(wàn)元。

圖7  按報(bào)價(jià)支付出清機(jī)制下各類(lèi)型機(jī)組的收益變化

Fig.7  Changes in revenue for various types of units under pay as bid mechanism

綜上，在聯(lián)合采用競(jìng)價(jià)策略的情況下，各類(lèi)型機(jī)組可以根據(jù)自身的機(jī)組特性做出相應(yīng)的策略，邊際成本低的高性能機(jī)組可以根據(jù)競(jìng)價(jià)策略進(jìn)一步獲得市場(chǎng)份額，而邊際成本高的機(jī)組將讓渡發(fā)電空間。所有機(jī)組共同參與競(jìng)價(jià)策略的調(diào)整，使得總體收益大幅度提高且碳排放量降低，實(shí)現(xiàn)電力行業(yè)低碳減排和經(jīng)濟(jì)高效的目標(biāo)協(xié)同。

3.4  新能源滲透率對(duì)不同出清機(jī)制結(jié)果的影響分析

圖8是當(dāng)前電力市場(chǎng)條件下，不同出清機(jī)制中智能體組合方案的總收益和碳排放數(shù)值。由圖8可知，按報(bào)價(jià)支付出清機(jī)制的總收益波動(dòng)范圍小，較為穩(wěn)定；邊際統(tǒng)一出清機(jī)制的出清價(jià)格隨不同方案的變化而波動(dòng)，總收益波動(dòng)范圍大；隨機(jī)匹配出清機(jī)制中小型機(jī)組中標(biāo)概率大幅度提升，造成碳排放量增多。按報(bào)價(jià)支付出清機(jī)制的平均碳排放量最小，平均總收益僅次于隨機(jī)匹配出清機(jī)制，且穩(wěn)定性更強(qiáng)，更適合目前的電力市場(chǎng)。

圖8  不同出清機(jī)制下市場(chǎng)效率對(duì)比

Fig.8  Comparison of market efficiency under different clearing mechanisms

考慮到未來(lái)新型電力系統(tǒng)中新能源占比將越來(lái)越高，本文設(shè)置新能源滲透率按照0.1的間隔由0.1提高到0.6，采取市場(chǎng)出清效率最高的方案S7作為基礎(chǔ)情景進(jìn)行分析。對(duì)各數(shù)據(jù)進(jìn)行歸一化處理，不同出清機(jī)制下出清結(jié)果隨新能源滲透率的變化如圖9所示。當(dāng)新能源滲透率較低（低于0.2）時(shí)，各機(jī)制下出清結(jié)果和各機(jī)組的競(jìng)價(jià)策略沒(méi)有發(fā)生改變。

圖9  不同新能源滲透率下出清結(jié)果變化

Fig.9  Changes in clearing results under different new energy penetration rates

不同新能源滲透率下排放收益率如表4所示。當(dāng)新能源滲透率為20%~40%時(shí)，按報(bào)價(jià)支付出清機(jī)制的碳排放收益率比較穩(wěn)定，此時(shí)市場(chǎng)對(duì)火電的需求仍比較大。當(dāng)新能源滲透率為40%~50%時(shí)，報(bào)價(jià)支付出清機(jī)制的碳排放收益率大幅下降，此時(shí)火電需求量的減少使市場(chǎng)的競(jìng)爭(zhēng)更加激烈，部分中小型機(jī)組開(kāi)始降低申報(bào)價(jià)格以獲得發(fā)電權(quán)，大型機(jī)組同時(shí)面臨市場(chǎng)需求減少以及中小型機(jī)組競(jìng)價(jià)壓力。當(dāng)新能源滲透率為50%~60%時(shí)，市場(chǎng)對(duì)火力發(fā)電的需求較低，此時(shí)火力發(fā)電商中市場(chǎng)份額幾乎被中大型機(jī)組搶占，市場(chǎng)進(jìn)入比較穩(wěn)定的階段。

表4  不同新能源滲透率下排放收益率

Table 4  Unit emission return rate under different new energy penetration rates

當(dāng)新能源滲透率為20%~40%時(shí)，邊際統(tǒng)一出清機(jī)制的排放收益率波動(dòng)非常大，在市場(chǎng)整體需求減少的情況下，邊際出清價(jià)格交點(diǎn)也發(fā)生變動(dòng)，各發(fā)電商都面臨出清價(jià)格大幅度下降的風(fēng)險(xiǎn)。當(dāng)新能源滲透率為50%時(shí)，邊際統(tǒng)一出清機(jī)制進(jìn)入比較穩(wěn)定的狀態(tài)，此時(shí)市場(chǎng)份額主要由大型機(jī)組以及部分中型機(jī)組占據(jù)。

當(dāng)新能源滲透率為20%~40%時(shí)，隨機(jī)匹配出清機(jī)制的排放收益率有一定幅度的下降，但下降的幅度比較穩(wěn)定，隨機(jī)匹配出清機(jī)制下各發(fā)電商都能夠與購(gòu)電商進(jìn)行匹配的機(jī)會(huì)。當(dāng)新能源滲透率到達(dá)50%及以上時(shí)，其余2種出清機(jī)制下市場(chǎng)交易量小，主要交易對(duì)象為大型及部分中型機(jī)組，排放收益率都出現(xiàn)了大幅度下降，隨機(jī)匹配出清機(jī)制能夠在市場(chǎng)競(jìng)價(jià)激烈的火電競(jìng)價(jià)市場(chǎng)上通過(guò)提高交易量維持市場(chǎng)的穩(wěn)定。

04結(jié)論

本文通過(guò)多智能體深度確定性策略梯度算法模擬發(fā)電商在月度集中市場(chǎng)中的動(dòng)態(tài)行為演化規(guī)律，優(yōu)化發(fā)電商競(jìng)價(jià)策略。主要結(jié)論如下。

1）本文構(gòu)建的基于多智能體深度強(qiáng)化學(xué)習(xí)的發(fā)電商競(jìng)價(jià)策略模型可以有效提高月度集中競(jìng)價(jià)市場(chǎng)的整體效率，發(fā)電機(jī)組聯(lián)合采用策略性競(jìng)價(jià)時(shí)整體碳排放收益率最高。

2）當(dāng)新能源滲透率較低時(shí)，按報(bào)價(jià)支付出清機(jī)制適合于小型或大型機(jī)組單獨(dú)參與策略性競(jìng)價(jià)，邊際統(tǒng)一出清機(jī)制適合于中型機(jī)組單獨(dú)參與或中小型機(jī)組聯(lián)合參與策略性競(jìng)價(jià)，而隨機(jī)匹配出清機(jī)制適合于大中型機(jī)組聯(lián)合參與策略性競(jìng)價(jià)。

3）新能源滲透率對(duì)不同出清機(jī)制下的市場(chǎng)出清結(jié)果具有顯著影響。當(dāng)新能源滲透率提升至20%~40%時(shí)，按報(bào)價(jià)出清機(jī)制下的市場(chǎng)經(jīng)濟(jì)效益、碳減排效率和運(yùn)行穩(wěn)定性最佳；當(dāng)新能源滲透率到達(dá)50%及以上時(shí)，隨機(jī)匹配出清機(jī)制下碳排放收益率最高，且有利于降低市場(chǎng)波動(dòng)風(fēng)險(xiǎn)。

本文的報(bào)價(jià)策略考慮在實(shí)際成本一定范圍內(nèi)進(jìn)行調(diào)整，后續(xù)會(huì)考慮結(jié)合歷史數(shù)據(jù)對(duì)月度市場(chǎng)進(jìn)行分解，分析不同時(shí)段下機(jī)組的負(fù)荷率差異，結(jié)合不同類(lèi)型機(jī)組的煤耗曲線進(jìn)行報(bào)價(jià)。同時(shí)，本文在建模時(shí)沒(méi)有考慮購(gòu)電商的競(jìng)價(jià)策略對(duì)市場(chǎng)競(jìng)價(jià)的影響，如何在考慮購(gòu)電側(cè)的情況下優(yōu)化發(fā)電商的競(jìng)價(jià)行為，也是未來(lái)需要深入研究的重點(diǎn)。