前言

QQ音樂(lè)是中國(guó)最大的在線音樂(lè)流媒體平臺(tái)之一，擁有海量的音樂(lè)資源。為了便于對(duì)QQ音樂(lè)中的音樂(lè)進(jìn)行研究和探索，開(kāi)發(fā)QQ音樂(lè)爬蟲對(duì)于相關(guān)的研究者和愛(ài)好者來(lái)說(shuō)至關(guān)重要。

爬蟲技術(shù)

QQ音樂(lè)爬蟲通常采用以下技術(shù)：HTTP請(qǐng)求：通過(guò)HTTP請(qǐng)求獲取QQ音樂(lè)網(wǎng)頁(yè)的HTML代碼。正則表達(dá)式：從HTML代碼中提取音樂(lè)的元數(shù)據(jù)，例如歌曲名稱、歌手、專輯、發(fā)行日期等。數(shù)據(jù)解析：將提取到的音樂(lè)元數(shù)據(jù)解析為結(jié)構(gòu)化的數(shù)據(jù)格式，如JSON或CSV。

應(yīng)用場(chǎng)景

QQ音樂(lè)爬蟲在音樂(lè)研究和探索中有著廣泛的應(yīng)用場(chǎng)景，包括：

音樂(lè)數(shù)據(jù)采集

QQ音樂(lè)爬蟲可以批量采集QQ音樂(lè)平臺(tái)上的音樂(lè)數(shù)據(jù)，包括歌曲、專輯、藝術(shù)家、榜單等。這些數(shù)據(jù)可用于構(gòu)建龐大的音樂(lè)數(shù)據(jù)集，為以下研究提供支持：音樂(lè)流行趨勢(shì)分析：通過(guò)分析QQ音樂(lè)的播放量、下載量等數(shù)據(jù)，可以了解音樂(lè)流行趨勢(shì)和用戶偏好。音樂(lè)推薦系統(tǒng)開(kāi)發(fā)：基于用戶歷史行為數(shù)據(jù)，可以開(kāi)發(fā)個(gè)性化的音樂(lè)推薦系統(tǒng)。音樂(lè)情感分析：通過(guò)爬取歌曲的歌詞、評(píng)論等文本數(shù)據(jù)，可以分析音樂(lè)的情感特征。

音樂(lè)資源下載

QQ音樂(lè)爬蟲可以下載QQ音樂(lè)平臺(tái)上的音樂(lè)文件，包括MP3、FLAC、APE等格式。這些資源可用于：音樂(lè)收藏：將喜愛(ài)的音樂(lè)下載到本地，以便離線欣賞。音樂(lè)分析：下載音樂(lè)文件用于音頻處理、音樂(lè)信號(hào)分析等研究目的。音樂(lè)分享：在遵守

---

玩網(wǎng)易云的都是些什么人

網(wǎng)易云音樂(lè)除了是一個(gè)主流的音樂(lè)app之外擁有他自己的特色：強(qiáng)大的推薦算法以及與之匹配的社交功能。通過(guò)不同方面分析網(wǎng)易云的用戶特征從而驗(yàn)證玩網(wǎng)易云的都是些什么人，具體內(nèi)容如下：

男女用戶比例均衡：男女用戶基本都保持在42%這個(gè)水平?jīng)]有差異，看來(lái)在熱愛(ài)音樂(lè)這件事上是沒(méi)有性別的界限的。

原創(chuàng)音樂(lè)人是普通用戶外最大的貢獻(xiàn)者。 網(wǎng)易云用戶的標(biāo)簽有四種：什么標(biāo)簽都莫得的普通用戶，達(dá)人標(biāo)簽（通常為某個(gè)圈子的視頻或音樂(lè)的搬運(yùn)工），音樂(lè)人標(biāo)簽（原創(chuàng)音樂(lè)人），大V（官方認(rèn)證）。

其中音樂(lè)人占比到了3%，其實(shí)這個(gè)比例很明顯是不正確的，百人中有三個(gè)音樂(lè)人，那音樂(lè)人家生活中會(huì)變得非常常見(jiàn)。

之所以占比這么高，是因?yàn)榕老x的邏輯是根據(jù)關(guān)注列表與粉絲列表進(jìn)行廣度優(yōu)先的關(guān)聯(lián)爬取，所以關(guān)注更多人的用戶，擁有更多粉絲的用戶有更高的概率被抽到，存在幸存者誤差。 從某種程度上來(lái)說(shuō)，所爬到的用戶絕大部分是活躍用戶，而不是一個(gè)隨機(jī)抽樣。

但是從另外一個(gè)角度來(lái)看，由于關(guān)聯(lián)爬取的方式使得活躍用戶被爬到的概率變得非常高，所以單獨(dú)看音樂(lè)人、達(dá)人、大V這三個(gè)標(biāo)簽是有參考意義的，因?yàn)檫@兩個(gè)活躍用戶群幾乎全部被爬到，遺漏的概率很小。

把普通用戶的數(shù)據(jù)剔除，只留下特殊用戶對(duì)比一下，可以看到在特殊用戶群中原創(chuàng)音樂(lè)人占絕大多數(shù)，網(wǎng)易云音樂(lè)擁有著讓一些知名度較低的音樂(lè)人發(fā)表自己的作品，培養(yǎng)自己的粉絲圈的土壤。 想要火，唱民謠。

根據(jù)用戶粉絲數(shù)量排行，第一位是官方賬號(hào)“云音樂(lè)VIP”，擁有600萬(wàn)粉絲，這意味著曾經(jīng)購(gòu)買過(guò)會(huì)員的用戶約為600萬(wàn)，考慮到黑膠會(huì)員是2018年6月21日推出的，還不到一年，變現(xiàn)能力不錯(cuò)。

此外網(wǎng)紅薛之謙排在第二席遠(yuǎn)遠(yuǎn)超過(guò)其他人，這個(gè)網(wǎng)紅老前輩還是火的不行。

其次創(chuàng)作民謠的歌手在剩下的10個(gè)席位中占據(jù)5位：花粥、陳粒、李志、房東的貓、老狼。 由此看來(lái)民謠所擁有的用戶基礎(chǔ)是云音樂(lè)中最龐大的。 云音樂(lè)個(gè)人用戶可以發(fā)表自己的歌曲，創(chuàng)作門檻較低的民謠成為大熱也是情有可原。

95后正成為主流，付費(fèi)意愿與年齡正相關(guān)。 1990出生的用戶數(shù)據(jù)明顯存在異常，按照日期對(duì)用戶數(shù)量分組聚合之后找到原因：設(shè)置日期的默認(rèn)值為1990/01/01。 注冊(cè)一個(gè)新賬號(hào)驗(yàn)證默認(rèn)日期確實(shí)為該天，將該天的數(shù)據(jù)剔除后更新圖表，90年出生的用戶數(shù)量明顯下降。

數(shù)據(jù)呈現(xiàn)出出生日期小于1998時(shí)遞增而大于1998后遞減的趨勢(shì)，仔細(xì)一想2004年后的小朋友才18歲，大多數(shù)人在這個(gè)階段并沒(méi)有步入大學(xué)，能長(zhǎng)期使用智能設(shè)備的比例不會(huì)很高，這部分人群數(shù)量較少是必然的。 總的來(lái)說(shuō)，年輕人明顯更喜歡音樂(lè)，愛(ài)用網(wǎng)易云音樂(lè)這款app。

網(wǎng)易云音樂(lè)的主體活躍用戶是當(dāng)下的大學(xué)生與年輕人，廣大青少年都是潛在活躍用戶。

Vip Ratio從直覺(jué)上是隨著年齡的增大而增大的，年齡越大，消費(fèi)能力越強(qiáng)，購(gòu)買VIP的比例也就越高。 簡(jiǎn)單計(jì)算一下Vip Ratio與Age的相關(guān)系數(shù)：相關(guān)系數(shù)約0.83，可以認(rèn)為Vip Ratio與Age強(qiáng)相關(guān)。

用戶Level分布以7級(jí)為中心，等級(jí)越高付費(fèi)意愿越強(qiáng)，10級(jí)用戶都是聽(tīng)歌鬼才。

將Level屬性與平均聽(tīng)歌數(shù)聚合可以得知每個(gè)等級(jí)的用戶的聽(tīng)歌數(shù)的平均值，隨著等級(jí)增長(zhǎng)對(duì)應(yīng)的聽(tīng)歌數(shù)呈指數(shù)級(jí)上升，10級(jí)的用戶都是魔鬼，聽(tīng)歌數(shù)達(dá)到了25k。（music count是去重的，意味著單曲循環(huán)一首歌這個(gè)數(shù)值不會(huì)增長(zhǎng)）

將Level屬性與用戶數(shù)量聚合，同時(shí)計(jì)算Vip比例可以得知主流用戶還是Level 6、7、8這三個(gè)群體。 隨著Level的上升Vip的比例有著明顯的上升趨勢(shì)，Level10的用戶購(gòu)買黑膠會(huì)員的比例達(dá)到了44%，說(shuō)明用戶粘度的上升會(huì)促進(jìn)用戶去購(gòu)買Vip。 此外對(duì)比自己的數(shù)據(jù)，確認(rèn)數(shù)據(jù)無(wú)誤。

維吾爾族用戶占據(jù)半壁江山，經(jīng)濟(jì)發(fā)達(dá)地區(qū)用戶付費(fèi)意愿強(qiáng)。

按照用戶所在地以及Vip比例將數(shù)據(jù)可視化，從用戶數(shù)量來(lái)看前三全部被新疆地區(qū)包攬。 其余部分熱門的北上廣深各大城市均在榜單。 而付費(fèi)比例則是經(jīng)濟(jì)越發(fā)達(dá)的地區(qū)付費(fèi)比例更高，結(jié)合年齡越大付費(fèi)比例越高，意味著付費(fèi)比例和消費(fèi)能力相關(guān)密切。

讓人匪夷所思的是新疆用戶居然幾乎占據(jù)了半壁江山。 這個(gè)維度的數(shù)據(jù)其實(shí)是比較可靠的，因?yàn)閍pp的默認(rèn)設(shè)置是用戶設(shè)備的定位地，從用戶習(xí)慣上來(lái)看也很少會(huì)有人費(fèi)力氣去改一個(gè)虛假的地址。

隨意抽取一個(gè)新疆地區(qū)的用戶驗(yàn)證，進(jìn)行不負(fù)責(zé)任的分析：新疆的用戶由于語(yǔ)系不是漢語(yǔ)，維吾爾族人居多，音樂(lè)文化也與華語(yǔ)圈完全不同，他們有著自己獨(dú)特亞文化音樂(lè)，維語(yǔ)歌曲、俄語(yǔ)歌曲才是維吾爾族的人所普遍接受的。

在這種前提下網(wǎng)易云音樂(lè)這個(gè)依靠推薦算法建立社交的平臺(tái)完美的滿足了這一小眾音樂(lè)的需求，相對(duì)QQ音樂(lè)資本為王的方式，在網(wǎng)易云這個(gè)小而美的平臺(tái)上維族人能更容易的找到自己喜愛(ài)的歌。

同時(shí)也可以從維吾爾族人這一典型用戶群體來(lái)分析一下網(wǎng)易云主流用戶的特征：有著自己對(duì)音樂(lè)的判斷，喜歡一些較為小眾的音樂(lè)風(fēng)格，這一點(diǎn)和聽(tīng)acg，聽(tīng)古典，聽(tīng)民謠是共通的。

但是假定這一判斷是正確的情況下，在音樂(lè)文化游離于主流音樂(lè)體系之外的地區(qū)、國(guó)家，網(wǎng)易云音樂(lè)app有著非常獨(dú)特的潛力。 并且可以聯(lián)想到的是在很多的海外小國(guó)家，都有著自己獨(dú)特的音樂(lè)與文化，在這樣的市場(chǎng)里面網(wǎng)易云是不是有著獨(dú)特的優(yōu)勢(shì)。

由于維族人的粉絲與關(guān)注對(duì)象大多數(shù)都是維族人，關(guān)聯(lián)度很高，而爬蟲在爬取數(shù)據(jù)的時(shí)候是根據(jù)這兩個(gè)列表進(jìn)行的廣度優(yōu)先搜索，所以前期的誤差可能會(huì)被放大，在地區(qū)這個(gè)維度上數(shù)據(jù)也確實(shí)有可能存在誤差。

結(jié)合現(xiàn)有的數(shù)據(jù)來(lái)看，網(wǎng)易云的主流用戶群即：廣大20歲左右，有著對(duì)獨(dú)特風(fēng)格的音樂(lè)偏好，且長(zhǎng)期使用網(wǎng)易云、擁有較高的賬號(hào)等級(jí)的人群。 而黑膠會(huì)員在擁有較強(qiáng)消費(fèi)能力的用戶與高粘度用戶中比例較大。

音樂(lè)是一個(gè)年輕人市場(chǎng)，利用自己的優(yōu)勢(shì)想辦法留住年輕人，幫助真正有才華、有溫度的年輕歌手建立出自己的口碑，讓年輕人與優(yōu)秀的音樂(lè)對(duì)話的網(wǎng)易云音樂(lè)，才是那個(gè)有溫度的APP。

其次網(wǎng)易云音樂(lè)在亞文化地區(qū)中的威力不容小覷，國(guó)外應(yīng)該存在許多有著自己獨(dú)特音樂(lè)文化的小國(guó)，或許往這個(gè)方向發(fā)力不失為一個(gè)不錯(cuò)的選擇。

怎么用爬蟲獲取音樂(lè)

近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，越來(lái)越多的人開(kāi)始使用爬蟲來(lái)獲取音樂(lè)。 通過(guò)爬蟲獲取音樂(lè)，不僅可以免費(fèi)獲取大量的音樂(lè)資源，還可以快速地找到自己喜歡的音樂(lè)。 下面我們來(lái)介紹一下如何用爬蟲獲取音樂(lè)。 首先，我們需要選擇一個(gè)合適的網(wǎng)站。 目前市面上有很多音樂(lè)網(wǎng)站，如酷狗音樂(lè)、網(wǎng)易云音樂(lè)、QQ音樂(lè)等。 我們可以根據(jù)自己的喜好選擇一個(gè)合適的網(wǎng)站。 接著，我們需要了解一些基本的爬蟲知識(shí)。 爬蟲是一種自動(dòng)化獲取網(wǎng)頁(yè)信息的工具，可以模擬人類操作，自動(dòng)抓取網(wǎng)頁(yè)上的信息，并進(jìn)行處理和分析。 在使用爬蟲時(shí)，我們需要了解網(wǎng)頁(yè)的結(jié)構(gòu)和編碼方式。 然后，我們需要選擇一個(gè)合適的編程語(yǔ)言。 目前常用的編程語(yǔ)言有Python、Java、JavaScript等。 其中，Python是最為流行的語(yǔ)言之一，因?yàn)樗?jiǎn)單易學(xué)、功能強(qiáng)大、支持多種操作系統(tǒng)，并且有豐富的第三方庫(kù)和工具。 最后，我們需要編寫爬蟲程序。 在編寫爬蟲程序時(shí)，我們需要根據(jù)網(wǎng)頁(yè)的結(jié)構(gòu)和編碼方式，使用相應(yīng)的爬蟲框架和庫(kù)。 例如，使用Python中的requests庫(kù)和BeautifulSoup庫(kù)可以輕松地獲取網(wǎng)頁(yè)信息，并提取出我們需要的音樂(lè)鏈接。 需要注意的是，在使用爬蟲獲取音樂(lè)時(shí)，我們需要遵守相關(guān)法律法規(guī)，不得侵犯他人的版權(quán)和隱私。 另外，我們還需要注意數(shù)據(jù)的安全和保護(hù)，避免泄露個(gè)人信息和數(shù)據(jù)。 綜上所述，使用爬蟲獲取音樂(lè)可以幫助我們快速地獲取大量的音樂(lè)資源，但是也需要我們遵守相關(guān)法律法規(guī)和保護(hù)數(shù)據(jù)安全。

如何提取音頻

如何提取網(wǎng)站上的音頻?

提取網(wǎng)絡(luò)中的音頻的方法步驟：打開(kāi)瀏覽器，點(diǎn)擊“工具”→“Internet選項(xiàng)”。 在打開(kāi)的“Internet選項(xiàng)”窗口中，點(diǎn)擊“Internet臨時(shí)文件”→“刪除文件”按鈕，來(lái)消除Internet臨時(shí)緩存文件夾。

首先我們先打開(kāi)一個(gè)帶有音頻的網(wǎng)頁(yè)。 然后我們選擇開(kāi)發(fā)者工具。 接著我們選擇刷新下網(wǎng)頁(yè)。 點(diǎn)擊其中的【Network】。 在【Filter】填mp3，把音頻文件的鏈接搜出來(lái)。 雙擊鏈接，進(jìn)入單獨(dú)音頻界面。

首先，打開(kāi)一個(gè)播放音頻的頁(yè)面，這里以Chrome下的網(wǎng)絡(luò)音樂(lè)為例。 其次，按下F12，進(jìn)入開(kāi)發(fā)者模式按F5刷新，在開(kāi)發(fā)者選項(xiàng)中找到Network點(diǎn)擊在Network選項(xiàng)卡上點(diǎn)擊Size一般來(lái)說(shuō)最大的文件就是音頻文件。

第一步：打開(kāi)工將網(wǎng)頁(yè)中的音樂(lè)準(zhǔn)備好，接著將工具打開(kāi)到界面，可以先試著簡(jiǎn)單的了解一下。

可以用爬蟲軟件進(jìn)行下載，或者使用錄屏軟件錄取聲音，在對(duì)錄制的文件進(jìn)行聲音提取。

錄制。 就是搞個(gè)軟件把電腦當(dāng)前的聲音給錄下來(lái)。 保存網(wǎng)頁(yè)，在文件菜單中點(diǎn)保存，到保存目錄下面會(huì)出現(xiàn)一個(gè)這樣一個(gè)文件夾，里面應(yīng)該有。 網(wǎng)頁(yè)抓取工具。

怎么把的音樂(lè)提取出來(lái)

錄音：這是最簡(jiǎn)單粗暴的方法了，無(wú)論是電腦上的視頻還是手機(jī)里的視頻，都可以通過(guò)錄音的方法錄制背景音樂(lè)。

可以使用音頻器提取軟件來(lái)提取音樂(lè)，首先保存抖音上想要提取音樂(lè)的視頻。 打開(kāi)音頻提取器，點(diǎn)擊加號(hào)按鈕，選擇保存的視頻。 點(diǎn)擊向下的三角圖標(biāo)，點(diǎn)擊輸出格式，選擇mp3格式就可以提取音樂(lè)了。

把抖音的音樂(lè)提取出來(lái)的方法如下：首先打開(kāi)抖音，點(diǎn)擊右下角的分享按鈕，點(diǎn)擊保存本地，將視頻下載到手機(jī)里。 在手機(jī)里下載個(gè)音頻提取器，然后打開(kāi)音頻提取器，點(diǎn)擊右上角的+按鈕。

我們可以直接在此目錄下找到已經(jīng)提取的音頻文件。 采用APP識(shí)別歌曲首先打開(kāi)手機(jī)qq音樂(lè)主界面，選擇-發(fā)現(xiàn)-聽(tīng)歌識(shí)曲。

方法如下：操作工具：vivoX9操作系統(tǒng)：FuntouchOS127軟件：抖音v2首先用戶打開(kāi)抖音APP程序，找到自己需要下載背景音樂(lè)的視頻，點(diǎn)擊視頻的分享按鈕。

怎么提取視頻中的音頻?

選中視頻，點(diǎn)開(kāi)【格式】，選擇格式，輕擊【保存】，輸入音頻名字，點(diǎn)擊【確認(rèn)】即可；打開(kāi)【視頻格式轉(zhuǎn)換工廠】，選中【音頻提取】，選擇視頻，輕擊【完成】即可。

下載并打開(kāi)“嗨格式視頻轉(zhuǎn)換器”，點(diǎn)擊首頁(yè)“音頻提取”，進(jìn)入對(duì)應(yīng)功能界面；進(jìn)入音頻提取功能頁(yè)后點(diǎn)擊“添加文件”上傳需要視頻文件；點(diǎn)擊“轉(zhuǎn)換”或“全部轉(zhuǎn)換”即可。

首先打開(kāi)手機(jī)上的音頻提取軟件。 選擇“音頻提取”功能。 選擇你想要提取音頻的視頻文件。 選擇你想提取的音頻格式，我們常用的是mp3格式，還有其他格式也可以試試，選好格式后，點(diǎn)擊“提取音頻”。

首先將視頻保存到手機(jī)上，打開(kāi)這款工具，在首頁(yè)找到【音頻提取】功能。 隨后進(jìn)入手機(jī)相冊(cè)，找到保存的視頻，進(jìn)行勾選，再點(diǎn)擊【下一步】。 等待片刻，就能將視頻里的音頻分離出來(lái)了，處理速度非常快，點(diǎn)擊播放試聽(tīng)。

如何把視頻的音頻提取出來(lái)

1、把提前備好的視頻文件通過(guò)點(diǎn)擊左上角的【添加文件】藍(lán)色按鈕，快速的導(dǎo)入軟件中，準(zhǔn)備提取工作；該軟件工作效率很高，支持批量添加和轉(zhuǎn)換；為保證提取音頻的播放，我們選擇設(shè)置轉(zhuǎn)換的格式為兼容性較好的【mp3】音頻格式。

2、首先打開(kāi)手機(jī)上的音頻提取軟件。 選擇“音頻提取”功能。 選擇你想要提取音頻的視頻文件。 選擇你想提取的音頻格式，我們常用的是mp3格式，還有其他格式也可以試試，選好格式后，點(diǎn)擊“提取音頻”。

3、首先將視頻保存到手機(jī)上，打開(kāi)這款工具，在首頁(yè)找到【音頻提取】功能。 隨后進(jìn)入手機(jī)相冊(cè)，找到保存的視頻，進(jìn)行勾選，再點(diǎn)擊【下一步】。 等待片刻，就能將視頻里的音頻分離出來(lái)了，處理速度非常快，點(diǎn)擊播放試聽(tīng)。

4、推薦方法一：提詞全能王（APP端）提詞全能王是我個(gè)人經(jīng)常使用的一款手機(jī)軟件。 它的功能豐富多樣，不僅能夠幫助我們實(shí)現(xiàn)邊拍攝邊提詞的操作，還能夠幫助我們很好地處理圖片和視頻。

5、首先，打開(kāi)手機(jī)上面的剪映，并點(diǎn)擊進(jìn)入。 進(jìn)入到剪映的界面，點(diǎn)擊上方的“＋”號(hào)，導(dǎo)入需要制作的視頻。 點(diǎn)擊視頻，在下方的找到音頻，并點(diǎn)擊進(jìn)入，找到提取音樂(lè)點(diǎn)擊。

在國(guó)外怎么用蘋果手機(jī)看國(guó)內(nèi)的電視劇？

可以使用unblockcn 這個(gè)app進(jìn)行觀看，需要進(jìn)行下載安裝，具體步驟如下：

1、用safari瀏覽器進(jìn)入unblockcn官網(wǎng)，點(diǎn)擊”iphone/ipad“進(jìn)行下載。

2、點(diǎn)擊“下載安裝”。

3、打開(kāi)UNBLOCKCN app，點(diǎn)擊”用戶中心“注冊(cè)會(huì)員賬號(hào)，賬號(hào)必須是郵箱的格式，如果之后忘記UNBLOCKCN密碼，可通過(guò)郵箱找回。

4、登錄賬號(hào)，在“用戶中心”中，選擇“開(kāi)通會(huì)員”，成為UNBLOCKCN會(huì)員。

5、會(huì)員套餐月/季/年三種可供選擇。

6、開(kāi)通會(huì)員之后，因?yàn)橄到y(tǒng)存在延時(shí)的可能，故需要退出UNBLOCKCN會(huì)員賬號(hào)，然后重新登錄，重新登錄了之后，需要點(diǎn)擊”線路選擇“，這時(shí)會(huì)出現(xiàn)8條線路可供選擇，可以任意選擇其中一條完成解鎖。

7、然后將iphone手機(jī)的無(wú)線局域網(wǎng)按鈕關(guān)閉，并重新打開(kāi)。

8、最后打開(kāi)safari瀏覽器，搜索想要觀看的視頻站，這樣就可以無(wú)障礙的在國(guó)外看國(guó)內(nèi)的電視劇等視頻了。

如何利用Python爬取網(wǎng)易云音樂(lè)熱門評(píng)論

本篇文章給大家分享的內(nèi)容是如何利用Python爬取網(wǎng)易云音樂(lè)熱門評(píng)論，有著一定的參考價(jià)值，有需要的朋友可以參考一下前言最近在研究文本挖掘相關(guān)的內(nèi)容，所謂巧婦難為無(wú)米之炊，要想進(jìn)行文本分析，首先得到有文本吧。 獲取文本的方式有很多，比如從網(wǎng)上下載現(xiàn)成的文本文檔，或者通過(guò)第三方提供的API進(jìn)行獲取數(shù)據(jù)。 但是有的時(shí)候我們想要的數(shù)據(jù)并不能直接獲取，因?yàn)椴⒉惶峁┲苯拥南螺d渠道或者API供我們獲取數(shù)據(jù)。 那么這個(gè)時(shí)候該怎么辦呢？有一種比較好的辦法是通過(guò)網(wǎng)絡(luò)爬蟲，即編寫計(jì)算機(jī)程序偽裝成用戶去獲得想要的數(shù)據(jù)。 利用計(jì)算機(jī)的高效，我們可以輕松快速地獲取數(shù)據(jù)。 關(guān)于爬蟲那么該如何寫一個(gè)爬蟲呢？有很多種語(yǔ)言都可以寫爬蟲，比如Java，php,python 等，我個(gè)人比較喜歡使用python。 因?yàn)閜ython不僅有著內(nèi)置的功能強(qiáng)大的網(wǎng)絡(luò)庫(kù)，還有諸多優(yōu)秀的第三方庫(kù)，別人直接造好了輪子，我們直接拿過(guò)來(lái)用就可以了，這為寫爬蟲帶來(lái)了極大的方便。 不夸張地說(shuō)，使用不到10行python代碼其實(shí)就可以寫一個(gè)小小的爬蟲，而使用其他的語(yǔ)言可以要多寫很多代碼，簡(jiǎn)潔易懂正是python的巨大的優(yōu)勢(shì)。 好了廢話不多說(shuō)，進(jìn)入今天的正題。 最近幾年網(wǎng)易云音樂(lè)火了起來(lái)，我自己就是網(wǎng)易云音樂(lè)的用戶，用了幾年了。 以前用的是QQ音樂(lè)和酷狗，通過(guò)我自己的親身經(jīng)歷來(lái)看，我覺(jué)得網(wǎng)易云音樂(lè)最優(yōu)特色的就是其精準(zhǔn)的歌曲推薦和獨(dú)具特色的用戶評(píng)論（鄭重聲明！！！這不是軟文，非廣告！！！僅代表個(gè)人觀點(diǎn)，非喜勿噴！）。 經(jīng)常一首歌曲下面會(huì)有一些被點(diǎn)贊眾多的神評(píng)論。 加上前些日子網(wǎng)易云音樂(lè)將精選用戶評(píng)論搬上了地鐵，網(wǎng)易云音樂(lè)的評(píng)論又火了一把。 所以我想對(duì)網(wǎng)易云的評(píng)論進(jìn)行分析，發(fā)現(xiàn)其中的規(guī)律，特別是分析一些熱評(píng)具有什么共同的特點(diǎn)。 帶著這個(gè)目的，我開(kāi)始了對(duì)網(wǎng)易云評(píng)論的抓取工作。 網(wǎng)絡(luò)庫(kù)Python內(nèi)置了兩個(gè)網(wǎng)絡(luò)庫(kù)urllib和urllib2，但是這兩個(gè)庫(kù)使用起來(lái)不是特別方便，所以在這里我們使用一個(gè)廣受好評(píng)的第三方庫(kù)requests。 使用requests只用很少的幾行代碼就可以實(shí)現(xiàn)設(shè)置代理，模擬登陸等比較復(fù)雜的爬蟲工作。 如果已經(jīng)安裝pip的話，直接使用pip install requests 即可安裝。 中文文檔地址在此大家有什么問(wèn)題可以自行參考官方文檔，上面會(huì)有非常詳細(xì)的介紹。 至于urllib和urllib2這兩個(gè)庫(kù)也是比較有用的，以后如果有機(jī)會(huì)我會(huì)再給大家介紹一下。 工作原理在正式開(kāi)始介紹爬蟲之前，首先來(lái)說(shuō)一下爬蟲的基本工作原理，我們知道我們打開(kāi)瀏覽器訪問(wèn)某個(gè)網(wǎng)址本質(zhì)上是向服務(wù)器發(fā)送了一定的請(qǐng)求，服務(wù)器在收到我們的請(qǐng)求之后，會(huì)根據(jù)我們的請(qǐng)求返回?cái)?shù)據(jù)，然后通過(guò)瀏覽器將這些數(shù)據(jù)解析好，呈現(xiàn)在我們的面前。 如果我們使用代碼的話，就要跳過(guò)瀏覽器的這個(gè)步驟，直接向服務(wù)器發(fā)送一定的數(shù)據(jù)，然后再取回服務(wù)器返回的數(shù)據(jù)，提取出我們想要的信息。 但是問(wèn)題是，有的時(shí)候服務(wù)器需要對(duì)我們發(fā)送的請(qǐng)求進(jìn)行校驗(yàn)，如果它認(rèn)為我們的請(qǐng)求是非法的，就會(huì)不返回?cái)?shù)據(jù)，或者返回錯(cuò)誤的數(shù)據(jù)。 所以為了避免發(fā)生這種情況，我們有的時(shí)候需要把程序偽裝成一個(gè)正常的用戶，以便順利得到服務(wù)器的回應(yīng)。 如何偽裝呢？這就要看用戶通過(guò)瀏覽器訪問(wèn)一個(gè)網(wǎng)頁(yè)與我們通過(guò)程序訪問(wèn)一個(gè)網(wǎng)頁(yè)之間的區(qū)別。 通常來(lái)說(shuō)，我們通過(guò)瀏覽器訪問(wèn)一個(gè)網(wǎng)頁(yè)，除了發(fā)送訪問(wèn)的url之外，還會(huì)給服務(wù)發(fā)送額外的信息，比如headers（頭部信息）等，這就相當(dāng)于是請(qǐng)求的身份證明，服務(wù)器看到了這些數(shù)據(jù)，就會(huì)知道我們是通過(guò)正常的瀏覽器訪問(wèn)的，就會(huì)乖乖地返回?cái)?shù)據(jù)給我們了。 模擬登陸所以我們程序就得像瀏覽器一樣，在發(fā)送請(qǐng)求的時(shí)候，帶上這些標(biāo)志著我們身份的信息，這樣就能順利拿到數(shù)據(jù)。 有的時(shí)候，我們必須在登錄狀態(tài)下才能得到一些數(shù)據(jù)，所以我們必須要模擬登錄。 本質(zhì)上來(lái)說(shuō)，通過(guò)瀏覽器登錄就是post一些表單信息給服務(wù)器（包括用戶名，密碼等信息），服務(wù)器校驗(yàn)之后我們就可以順利登錄了，利用程序也是一樣，瀏覽器post什么數(shù)據(jù)，我們?cè)瓨影l(fā)送就可以了。 關(guān)于模擬登錄，我后面會(huì)專門介紹一下。 當(dāng)然事情有的時(shí)候也不會(huì)這么順利，因?yàn)橛行┚W(wǎng)站設(shè)置了反爬措施，比如如果訪問(wèn)過(guò)快，有時(shí)候會(huì)被封ip（典型的比如豆瓣）。 這個(gè)時(shí)候我們還得要設(shè)置代理服務(wù)器，即變更我們的ip地址，如果一個(gè)ip被封了，就換另外一個(gè)ip，具體怎么做，這些話題以后慢慢再說(shuō)。 小技巧 最后，再介紹一個(gè)我認(rèn)為在寫爬蟲過(guò)程中非常有用的一個(gè)小技巧。 如果你在使用火狐瀏覽器或者chrome的話，也許你會(huì)注意到有一個(gè)叫作開(kāi)發(fā)者工具（chrome）或者web控制臺(tái)（firefox）的地方。 這個(gè)工具非常有用，因?yàn)槔盟覀兛梢郧宄乜吹皆谠L問(wèn)一個(gè)網(wǎng)站的過(guò)程中，瀏覽器到底發(fā)送了什么信息，服務(wù)器究竟返回了什么信息，這些信息是我們寫爬蟲的關(guān)鍵所在。 下面你就會(huì)看到它的巨大用處。 如何爬取評(píng)論首先打開(kāi)網(wǎng)易云音樂(lè)的網(wǎng)頁(yè)版，隨便選擇一首歌曲打開(kāi)它的網(wǎng)頁(yè)，這里我以周杰倫的《晴天》為例。 如下圖：接下來(lái)打開(kāi)web控制臺(tái)(chrome的話打開(kāi)開(kāi)發(fā)者工具，如果是其他瀏覽器應(yīng)該也是類似)，如下圖：然后這個(gè)時(shí)候我們需要點(diǎn)選網(wǎng)絡(luò)，清除所有的信息，然后點(diǎn)擊重新發(fā)送(相當(dāng)于是刷新瀏覽器),這樣我們就可以直觀看到瀏覽器發(fā)送了什么信息以及服務(wù)器回應(yīng)了什么信息。 如下圖：刷新之后得到的數(shù)據(jù)如下可以看到瀏覽器發(fā)送了非常多的信息，那么哪一個(gè)才是我們想要的呢？這里我們可以通過(guò)狀態(tài)碼做一個(gè)初步的判斷，status code（狀態(tài)碼）標(biāo)志了服務(wù)器請(qǐng)求的狀態(tài)，這里狀態(tài)碼為200即表示請(qǐng)求正常，而304則表示不正常（狀態(tài)碼種類非常多，如果要想詳細(xì)了解可以自行搜索，這里不說(shuō)304具體的含義了）。 所以我們一般只用看狀態(tài)碼為200的請(qǐng)求就可以了，還有就是，我們可以通過(guò)右邊欄的預(yù)覽來(lái)粗略觀察服務(wù)器返回了什么信息（或者查看響應(yīng)）。 如下圖：通過(guò)這兩種方法結(jié)合一般我們就可以快速找到我們想要分析的請(qǐng)求。 注意圖5中的請(qǐng)求網(wǎng)址一欄即是我們想要請(qǐng)求的網(wǎng)址，請(qǐng)求的方法有兩種：get和post，還有一個(gè)需要重點(diǎn)關(guān)注的就是請(qǐng)求頭，里面包含了user-Agent（客戶端信息），refrence（從何處跳轉(zhuǎn)過(guò)來(lái)）等多種信息，一般無(wú)論是get還是post方法我們都會(huì)把頭部信息帶上。 頭部信息如下圖：另外還需要注意的是：get請(qǐng)求一般就直接把請(qǐng)求的參數(shù)以 ？parameter1=value1?meter2=value2 等這樣的形式發(fā)送了，所以不需要帶上額外的請(qǐng)求參數(shù)，而post請(qǐng)求則一般需要帶上額外的參數(shù)，而不直接把參數(shù)放在url當(dāng)中，所以有的時(shí)候我們還需要關(guān)注參數(shù)這一欄。 經(jīng)過(guò)仔細(xì)尋找，我們終于找到原來(lái)與評(píng)論相關(guān)的請(qǐng)求在這個(gè)請(qǐng)求當(dāng)中，如下圖：點(diǎn)開(kāi)這個(gè)請(qǐng)求，我們發(fā)現(xiàn)它是一個(gè)post請(qǐng)求，請(qǐng)求的參數(shù)有兩個(gè)，一個(gè)是params，還有一個(gè)是encSecKey，這兩個(gè)參數(shù)的值非常的長(zhǎng)，感覺(jué)應(yīng)該像是加密過(guò)的。 如下圖：服務(wù)器返回的和評(píng)論相關(guān)的數(shù)據(jù)為json格式的，里面含有非常豐富的信息（比如有關(guān)評(píng)論者的信息，評(píng)論日期，點(diǎn)贊數(shù)，評(píng)論內(nèi)容等等），如下圖9所示：（其實(shí)hotComments為熱門評(píng)論，comments為評(píng)論數(shù)組）至此，我們已經(jīng)確定了方向了，即只需要確定params和encSecKey這兩個(gè)參數(shù)值即可，這個(gè)問(wèn)題困擾了我一下午，我弄了很久也沒(méi)有搞清楚這兩個(gè)參數(shù)的加密方式，但是我發(fā)現(xiàn)了一個(gè)規(guī)律，中 R_SO_4_ 后面的數(shù)字就是這首歌的id值，而對(duì)于不同的歌曲的param和encSecKey值，如果把一首歌比如A的這兩個(gè)參數(shù)值傳給B這首歌，那么對(duì)于相同的頁(yè)數(shù)，這種參數(shù)是通用的，即A的第一頁(yè)的兩個(gè)參數(shù)值傳給其他任何一首歌的兩個(gè)參數(shù)，都可以獲得相應(yīng)歌曲的第一頁(yè)的評(píng)論，對(duì)于第二頁(yè)，第三頁(yè)等也是類似。 但是遺憾的是，不同的頁(yè)數(shù)參數(shù)是不同的，這種辦法只能抓取有限的幾頁(yè)（當(dāng)然抓取評(píng)論總數(shù)和熱門評(píng)論已經(jīng)足夠了），如果要想抓取全部數(shù)據(jù)，就必須搞明白這兩個(gè)參數(shù)值的加密方式。 以為沒(méi)有搞明白，昨天晚上我?guī)е@個(gè)問(wèn)題去知乎搜索了一下，居然真的被我找到了答案。 @平胸小仙女 這位知友詳細(xì)說(shuō)明了如何破解這兩個(gè)參數(shù)的加密過(guò)程，我研究了一下，發(fā)現(xiàn)還是有點(diǎn)小復(fù)雜的，按照知友寫的方法，我改動(dòng)了一下，就成功得到了全部的評(píng)論。 這里要對(duì)知乎@平胸小仙女 表示感謝。 到此為止，如何抓取網(wǎng)易云音樂(lè)的評(píng)論全部數(shù)據(jù)就全部講完了。 按照慣例，最后上代碼，親測(cè)有效：#!/usr/bin/env python2.7 # -*- coding: utf-8 -*- # @Time : 2017/3/28 8:46 # @Author : Lyrichu # @Email : # @File : NetCloud_ @Description: 網(wǎng)易云音樂(lè)評(píng)論爬蟲，可以完整爬取整個(gè)評(píng)論 部分參考了@平胸小仙女的文章來(lái)源：知乎 from import AES import base64 import requests import json import codecs import time # 頭部信息 headers = { , Accept-Language:zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3, Accept-Encoding:gzip, deflate, Content-Type:application/x-www-form-urlencoded, Cookie:_ntes_nnid=b04b121e078dee797cdb30e0fd,27; _ntes_nuid=b04b121e078dee797cdb30e0fd; JSessionID-WYYY=yfqt9ofhY%5CIYNkXW71TqY5OtSZyjE%2FoswGgtl4dMv3Oa7%5CQ50T%2FVaee%2FMSsCifHE0TGtRMYhSPpr20i%5CRO%2BO%2B9pbbJnrUvGzkibhNqw3Tlgn%5Coil%2FrW7zFZZWSA3K9gD77MPSVH6fnv5hIT8ms70MNB3CxK5r3ecj3tFMlWFbFOZmGw%5C%3A80; _iuqxldmzr_=32; vjuids=c8ca7976.15a029d006a.0.e63af8; vjlast=..21; __gads=ID=a9eed5e3cae4d252:T=:S=ALNI_Mb5XX2vlkjsiU5cIy91-ToUDoFxIw; vinfo_n_f_l_n3=411a2def7f75a62e.1.1.69.05.42; P_INFO=||1|study|00&99|null&null&null#hub #0#0|&1|study_client|; NTES_CMT_USER_INFO=%7Cm155****4439%7Chttps%3A%2F%%2Fe%%2Ftie%2Fimages%2Fyun%2Fphoto_default_%7Cfalse%7CbTE1NTI3NTk0NDM5QDE2My5jb20%3D; usertrack=c+5+hljHgU0T1FDmA66MAg==; province=027; City=027; _ga=GA1.2..; __utma=.....8; __utmc=; __utmz==baidu|utmccn=(organic)|utmcmd=organic; playerid=; __utmb=.23.10., Connection:keep-alive, Referer:}# 設(shè)置代理服務(wù)器 proxies= { http::https::}# offset的取值為:(評(píng)論頁(yè)數(shù)-1)*20,total第一頁(yè)為true，其余頁(yè)為false # first_param = {rid:, offset:0, total:true, limit:20, csrf_token:} # 第一個(gè)參數(shù) second_param = # 第二個(gè)參數(shù) # 第三個(gè)參數(shù) third_param = 00e0b509f6259df8642dbcdfec152b5ff68ace615bb7bb3ab17a876aea8a5aa76d2eec4ee341ffccfe0312ecbdacaf6c9d05c4f7f0c3685b7a46beecce10b424d813cfe4875d3eb97ddefd546b8e289dc6935b3ece0462db0a22b8e7 # 第四個(gè)參數(shù) forth_param = 0CoJUm6Qyw8W8jud # 獲取參數(shù) def get_params(page): # page為傳入頁(yè)數(shù) iv = first_key = forth_param second_key = 16 * F if(page == 1): # 如果為第一頁(yè) first_param = {rid:, offset:0, total:true, limit:20, csrf_token:} h_encText = AES_encrypt(first_param, first_key, iv) else: offset = str((page-1)*20) first_param = {rid:, offset:%s, total:%s, limit:20, csrf_token:} %(offset,false) h_encText = AES_encrypt(first_param, first_key, iv) h_encText = AES_encrypt(h_encText, second_key, iv) return h_encText # 獲取 encSecKey def get_encSecKey(): encSecKey = aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2ed94a02ca919de7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3fed39e7de08fce26dbc4484a01c76f739ec return encSecKey # 解密過(guò)程 def AES_encrypt(text, key, iv): pad = 16 - len(text) % 16 text = text + pad * chr(pad) encryptor = (key, _CBC, iv) encrypt_text = (text) encrypt_text = base64.b64encode(encrypt_text) return encrypt_text # 獲得評(píng)論json數(shù)據(jù) def get_json(url, params, encSecKey): data = { params: params, encSecKey: encSecKey } response = (url, headers=headers, data=data,proxies = proxies) return # 抓取熱門評(píng)論，返回?zé)嵩u(píng)列表 def get_hot_comments(url): hot_comments_list = [] hot_comments_(u用戶ID 用戶昵稱 用戶頭像地址 評(píng)論時(shí)間 點(diǎn)贊總數(shù) 評(píng)論內(nèi)容) params = get_params(1) # 第一頁(yè) encSecKey = get_encSecKey() json_text = get_json(url,params,encSecKey) json_dict = (json_text) hot_comments = json_dict[hotComments] # 熱門評(píng)論 print(共有%d條熱門評(píng)論! % len(hot_comments)) for item in hot_comments: comment = item[content] # 評(píng)論內(nèi)容 likedCount = item[likedCount] # 點(diǎn)贊總數(shù) comment_time = item[time] # 評(píng)論時(shí)間(時(shí)間戳) userID = item[user][userID] # 評(píng)論者id nickname = item[user][nickname] # 昵稱 avatarUrl = item[user][avatarUrl] # 頭像地址 comment_info = userID + + nickname + + avatarUrl + + comment_time + + likedCount + + comment + u hot_comments_(comment_info) return hot_comments_list # 抓取某一首歌的全部評(píng)論 def get_all_comments(url): all_comments_list = [] # 存放所有評(píng)論 all_comments_(u用戶ID 用戶昵稱 用戶頭像地址 評(píng)論時(shí)間 點(diǎn)贊總數(shù) 評(píng)論內(nèi)容) # 頭部信息 params = get_params(1) encSecKey = get_encSecKey() json_text = get_json(url,params,encSecKey) json_dict = (json_text) comments_num = int(json_dict[total]) if(comments_num % 20 == 0):

---

---

相關(guān)標(biāo)簽： qq音樂(lè)爬蟲下載文件、 QQ音樂(lè)爬蟲在音樂(lè)研究和探索中的應(yīng)用、

上一篇：如何使用QQ音樂(lè)爬蟲創(chuàng)建自己的音樂(lè)庫(kù)如何使

下一篇：使用QQ音樂(lè)爬蟲提高你的音樂(lè)體驗(yàn)使用QQ音樂(lè)