從CPU架構(gòu)和技術(shù)的演變看GPU未來(lái)發(fā)展

    GPU內(nèi)部擁有很多種類型的緩存，不同的緩存都有各自特殊的用途，往往無(wú)法互相兼容，這完全不同與CPU內(nèi)部L1、L2、L3這樣簡(jiǎn)單的層級(jí)關(guān)系。

★ Cypress的一級(jí)緩存：固定功能、固定容量的專用緩存

    AMD的Cypress核心內(nèi)部的流處理器是按照SIMD（單指令多數(shù)據(jù)流）劃分的，每組SIMD陣列內(nèi)部包括了80個(gè)流處理器，這些流處理器擁有獨(dú)立的紋理單元和一級(jí)緩存（L1）以及本地?cái)?shù)據(jù)共享緩存（Local Data Share）。

    為了滿足DX11中DirectCompute 11的要求，AMD增加了本地?cái)?shù)據(jù)共享緩存的大小(Local Data Share，LDS)，容量達(dá)到了32KB，是RV770的兩倍。LDS用于同一個(gè)線程組(Thread Group)中的線程共享數(shù)據(jù)。從上圖中我們可以看到，每一個(gè)SIMD連接一個(gè)LDS，不同的SIMD是不能共享LDS的，因此所有屬于同一個(gè)線程組的線程都會(huì)被線程調(diào)度器發(fā)送到同一個(gè)SIMD上執(zhí)行。

    如果不同的SIMD上的線程要共享數(shù)據(jù)，需要用到全局?jǐn)?shù)據(jù)共享緩存(Global Data Share,GDS)。在Cypress中，GDS的容量也倍增了，達(dá)到64KB。到目前為止，我們對(duì)GDS的了解仍然有限，與LDS不同，并沒(méi)有指令能顯式的操作GDS。據(jù)Beyond3D的消息，在未來(lái)的OpenCL擴(kuò)展中可能會(huì)提供對(duì)GDS的訪問(wèn)，目前GDS只對(duì)編譯器可見。

★ GF100的一級(jí)緩存：可動(dòng)態(tài)分配容量的多功能智能緩存

    以往的GPU都是沒(méi)有一級(jí)緩存的，只有一級(jí)紋理緩存，因?yàn)檫@些緩存無(wú)法在通用計(jì)算中用于存儲(chǔ)計(jì)算數(shù)據(jù)，只能用于在紋理采樣時(shí)暫存紋理。而在GF100當(dāng)中，NVIDIA首次引入真正的一級(jí)高速緩存，而且還可被動(dòng)態(tài)的劃分為共享緩存。

    在GF100 GPU中，每個(gè)SM除了擁有專用的紋理緩存外，還擁有64KB容量的片上緩存，這部分緩存可配置為16KB的一級(jí)緩存+48KB共享緩存，或者是48KB一級(jí)緩存+16KB共享緩存。這種劃分方式完全是動(dòng)態(tài)執(zhí)行的，一個(gè)時(shí)鐘周期之后可自動(dòng)根據(jù)任務(wù)需要即時(shí)切換而不需要程序主動(dòng)干預(yù)。

    一級(jí)緩存與共享緩存是互補(bǔ)的，共享緩存能夠?yàn)槊鞔_界定存取數(shù)據(jù)的算法提升存取速度，而一級(jí)緩存則能夠?yàn)橐恍┎灰?guī)則的算法提升存儲(chǔ)器存取速度。在這些不規(guī)則算法中，事先并不知道數(shù)據(jù)地址。

    對(duì)于圖形渲染來(lái)說(shuō)，重復(fù)或者固定的數(shù)據(jù)比較多，因此一般是劃分48KB為共享緩存，當(dāng)然剩下的16KB一級(jí)緩存也不是完全沒(méi)用，它可以充當(dāng)寄存器溢出的緩沖區(qū)，讓寄存器能夠?qū)崿F(xiàn)不俗的性能提升。

    而在并行計(jì)算之中，一級(jí)緩存與共享緩存同樣重要，它們可以讓同一個(gè)線程塊中的線程能夠互相協(xié)作，從而促進(jìn)了片上數(shù)據(jù)廣泛的重復(fù)利用并減少了片外的通信量。共享存儲(chǔ)器是使許多高性能CUDA應(yīng)用程序成為可能的重要促成因素。

★ 可動(dòng)態(tài)分配的共享式一級(jí)緩存大幅提升并行計(jì)算效率

    再來(lái)算算一級(jí)緩存的總?cè)萘浚珻ypress擁有8KBx20=160KB的一級(jí)緩存，和32KBx20=640KB的本地?cái)?shù)據(jù)共享緩存，還有額外的64KB全局?jǐn)?shù)據(jù)共享緩存。

    而GF100擁有64KBx16=1MB容量的一級(jí)緩存+共享緩存，他們可以被動(dòng)態(tài)的劃分為256KB一級(jí)緩存+768KB共享緩存，或者768KB一級(jí)緩存+256KB共享緩存，另外還有12KBx16=192KB的紋理緩存，無(wú)論從哪個(gè)方面來(lái)比較，都要比Cypress強(qiáng)很多。

    此次NVIDIA創(chuàng)新性的可動(dòng)態(tài)劃分一級(jí)緩存設(shè)計(jì)，是以往CPU上面都不曾有過(guò)的先進(jìn)技術(shù)，大幅提升了GPU并行計(jì)算的數(shù)據(jù)處理能力，使得GPU龐大的流處理器資源在高負(fù)荷密集型運(yùn)算時(shí)不至于出現(xiàn)瓶頸，從而發(fā)揮出恐怖的浮點(diǎn)運(yùn)算能力。