2019年4月1日，人社部發(fā)布13個新職業(yè)，數(shù)字化管理師、ETL工程師、人工智能工程技術人員、大數(shù)據(jù)工程技術人員、物聯(lián)網工程技術人員、無人機駕駛員等一起被官宣為新時代的新職業(yè)。而僅僅在幾天前，在教育部公布的最新高校新增專業(yè)名單中，196所高校“擠破頭”要上的專業(yè)第一名也是大數(shù)據(jù)。于是，有人大膽預測：大數(shù)據(jù)是未來10年的“金飯碗”。
大數(shù)據(jù)比你自己更懂你
馬云曾經在一次公開演講中表示，未來30年數(shù)據(jù)將取代石油，成為最強大能源。而在大數(shù)據(jù)改變世界之前，我們已經清楚地看到它對我們日常生活的改變。
“太神奇了，它怎么知道我要買這一款？”最近，馬莉在網購時遇到了一件怪事。她想買一個品牌的舊款針織開衫，于是在淘寶搜索欄里輸入了關鍵詞，卻沒有找到。但是，三個小時后當她再次打開淘寶時卻發(fā)現(xiàn)，那件心儀已久的開衫正安靜地“躺”在“猜你喜歡”一欄里。她吃驚地和同事交流此事，對方指著剛剛收到的一條短信說：“我也趕巧了，家里孩子的奶粉過兩天就吃完了，正準備買，就有促銷活動！”
當我們的衣食住行、吃喝玩樂與各種APP牢牢綁在一起的時候，整個社會已進入到一個數(shù)據(jù)化生存時代。用戶只要拿起手機，就無時無刻不在產生著數(shù)據(jù)。而另一頭連接著的好像港劇中的“讀心神探”，只不過這一次的判斷依據(jù)，不是肢體語言，而是我們在互聯(lián)網“沖浪”時留下的點滴痕跡。
它們用無限的推送，戳破現(xiàn)代人的心。隨機播放的歌都是你喜歡的，給中年人推薦防脫發(fā)洗發(fā)水，知道你是連續(xù)11次獨自看電影的單身狗……很多人生活中唯一的要求就是渴望被人理解，最終卻發(fā)現(xiàn)最懂自己的是大數(shù)據(jù)。更重要的是，它記錄下你的審美，你的情緒，你的失眠，幫你過濾掉它認為的無用信息。
“大數(shù)據(jù)的‘大’，就意味著它的價值密度低。如果不‘深挖’，這些數(shù)據(jù)就沒有價值。”作為國家最知名的大數(shù)據(jù)公司之一，拓爾思新聞出版事業(yè)部總經理林松濤對記者說。海量數(shù)據(jù)本身是孤島，讓“沙漠”變“綠洲”，就需要人類的智慧。于是，ETL工程師這一新職業(yè)在時代的催生下誕生了。他們每天面對千萬級和億級的數(shù)據(jù)，找到數(shù)據(jù)與數(shù)據(jù)之間的規(guī)律或者異常，形成結論和知識，推動小到企業(yè)大到社會的發(fā)展，最后影響到我們每個人的日常生活。
在ETL工程師看來，數(shù)據(jù)并沒有好壞之分，關鍵看你怎么用、用在哪。也沒有絕對的客觀，如果說攝影師的取景框是他們裁剪世界的一種“偏見”，那么ETL工程師給數(shù)據(jù)貼上不同的標簽、采用不同的分析模式，出來的結果也不一樣。但是這種價值的“提純”，會讓整個社會的生產效率得到極大提高。近日發(fā)布的《2019中國薪酬標準指南》中顯示，由于越來越多的管理決策正轉向數(shù)據(jù)驅動，數(shù)據(jù)分析能力已成為中國公司招聘時高度關注的技能。
并非“碼農”，分析才是硬核能力
有人將ETL工程師等同于“碼農”，認為寫寫代碼取數(shù)，便是數(shù)據(jù)分析工作的核心，其實是錯誤的。“數(shù)據(jù)提取只是一種手段，而不是目的。真正的工作在于‘分析’，這才是核心。”途牛旅游網的ETL工程師Mandy解釋到。
美國沃爾瑪超市有一個很經典的案例，把看上去毫不相關的啤酒和尿布擺放在一起，兩者的銷量大幅提升。“商品的關聯(lián)是件很神奇的事，通過數(shù)據(jù)分析發(fā)現(xiàn)，男性顧客在購買嬰兒尿片時，常常會順便搭配幾瓶啤酒來犒勞自己。”1990年出生的沈海旺，是蘇寧集團自產的一位ETL工程師，前面提到的關于買奶粉的短信提醒，可能就是他的杰作。沈海旺做過一個嬰幼兒奶粉“周期購”的數(shù)據(jù)分析，讓蘇寧易購上的奶粉銷量上升了三成。
沈海旺發(fā)現(xiàn)，商城上賣出去的一件奶粉，有可能是一箱，也有可能是一聽，每一種都分900克、1200克等不同規(guī)格。通過參照每個年齡段孩子攝入奶粉量的不同，可以大致推斷出用戶的購買周期，最終通過短信方式，在適當?shù)臅r機提醒用戶購買。說起來簡單，但實際的購買行為多樣而復雜，比如有的人是幫親戚家孩子買的，有的人這次在A平臺購買下次換到B平臺，數(shù)據(jù)不連貫。沈海旺將這些無用的數(shù)據(jù)形象地稱之為“臟數(shù)據(jù)”，他說初期會有大量的時間花費在“臟數(shù)據(jù)”的清洗上。
“數(shù)據(jù)本身，既不是答案也不是真相，只有不?？絾枺艜拱滓磺?。”今年3月，交匯點APP給“積分落戶”的4133名新南京人進行了畫像，原本復雜的調查過程，因為清晰的大數(shù)據(jù)的介入而變得簡單。“外地人落戶南京的時候，公安局都會出一個公示。我們找到這些公示，根據(jù)身份證號的前幾位就可以判斷他遷入南京前的戶籍所在地。”
對P2P網貸平臺的風險進行及時預警，ETL工程師也出了把力。他們設計了一個名叫“冒煙指數(shù)”的體系，匯總了互聯(lián)網、公檢法、工商稅務一切公開信息進行數(shù)據(jù)分析后評分，“冒煙指數(shù)”一旦超過60分，相關部門就要列入重點監(jiān)管；超過80分，則要啟動打擊處置程序。
調查中發(fā)現(xiàn)，目前市面上的ETL工程師的教育背景多元，學統(tǒng)計學、計算機、數(shù)學、金融學甚至情報學的都有，他們大多是大專及以上學歷，90后男性為主。男生工具分析的能力強，而女生心細，自我要求高，兩個性別在這個行業(yè)各有優(yōu)勢。對于這個職業(yè)來說男生更深，女生更廣。
數(shù)字化轉型浪潮席卷各行各業(yè)，大數(shù)據(jù)以極快的速度從概念走向現(xiàn)實，深度嵌入到經濟社會的方方面面。“截至2018年，世界500強公司里，90%以上都有類似ETL工程師的崗位。”沈海旺所在的標簽平臺產品部是蘇寧大數(shù)據(jù)中心下面的一個部門，2013年他從江蘇科技大學畢業(yè)加入蘇寧時，還沒有這個部門。從孤身一個人做大數(shù)據(jù)，到如今發(fā)展成數(shù)十人的部門，也折射出大數(shù)據(jù)分析在中國的熱度。而作為一家世界500強企業(yè)，蘇寧目前擁有200-300的大數(shù)據(jù)人才，除了位于IT總部底下的大數(shù)據(jù)中心，各個業(yè)務部門也都分別有自己的ETL工程師。
事實上，2016年2月,北京大學、對外經濟貿易大學、中南大學首次成功申請到“數(shù)據(jù)科學與大數(shù)據(jù)技術”本科新專業(yè)。也就是說，真正專業(yè)對口的第一批畢業(yè)生要到2020年才能走上ETL工程師的工作崗位。而現(xiàn)在從業(yè)的ETL工程師，都是從計算機、信息、金融、統(tǒng)計學等專業(yè)分流而來的。
“剛剛畢業(yè)的大學生，薪水就等同于我們企業(yè)中層，即使這樣，想招到一個優(yōu)秀的ETL工程師依然很難！”一家國際家電集團的江蘇總部人力資源部負責人說。“他們不愁找工作，普通從業(yè)經驗超過3年的人，都比較搶手，獵頭跟著挖，一旦跳槽工資跟著翻倍。”
大數(shù)據(jù)時代我們每個人都應該培養(yǎng)自己的大數(shù)據(jù)思維，就像我們現(xiàn)在學計算機、學英語一樣，大數(shù)據(jù)分析能力或許是未來我們與世界連接的一個基本工具！
大數(shù)據(jù)比你自己更懂你
馬云曾經在一次公開演講中表示，未來30年數(shù)據(jù)將取代石油，成為最強大能源。而在大數(shù)據(jù)改變世界之前，我們已經清楚地看到它對我們日常生活的改變。
“太神奇了，它怎么知道我要買這一款？”最近，馬莉在網購時遇到了一件怪事。她想買一個品牌的舊款針織開衫，于是在淘寶搜索欄里輸入了關鍵詞，卻沒有找到。但是，三個小時后當她再次打開淘寶時卻發(fā)現(xiàn)，那件心儀已久的開衫正安靜地“躺”在“猜你喜歡”一欄里。她吃驚地和同事交流此事，對方指著剛剛收到的一條短信說：“我也趕巧了，家里孩子的奶粉過兩天就吃完了，正準備買，就有促銷活動！”
當我們的衣食住行、吃喝玩樂與各種APP牢牢綁在一起的時候，整個社會已進入到一個數(shù)據(jù)化生存時代。用戶只要拿起手機，就無時無刻不在產生著數(shù)據(jù)。而另一頭連接著的好像港劇中的“讀心神探”，只不過這一次的判斷依據(jù)，不是肢體語言，而是我們在互聯(lián)網“沖浪”時留下的點滴痕跡。
它們用無限的推送，戳破現(xiàn)代人的心。隨機播放的歌都是你喜歡的，給中年人推薦防脫發(fā)洗發(fā)水，知道你是連續(xù)11次獨自看電影的單身狗……很多人生活中唯一的要求就是渴望被人理解，最終卻發(fā)現(xiàn)最懂自己的是大數(shù)據(jù)。更重要的是，它記錄下你的審美，你的情緒，你的失眠，幫你過濾掉它認為的無用信息。
“大數(shù)據(jù)的‘大’，就意味著它的價值密度低。如果不‘深挖’，這些數(shù)據(jù)就沒有價值。”作為國家最知名的大數(shù)據(jù)公司之一，拓爾思新聞出版事業(yè)部總經理林松濤對記者說。海量數(shù)據(jù)本身是孤島，讓“沙漠”變“綠洲”，就需要人類的智慧。于是，ETL工程師這一新職業(yè)在時代的催生下誕生了。他們每天面對千萬級和億級的數(shù)據(jù)，找到數(shù)據(jù)與數(shù)據(jù)之間的規(guī)律或者異常，形成結論和知識，推動小到企業(yè)大到社會的發(fā)展，最后影響到我們每個人的日常生活。
在ETL工程師看來，數(shù)據(jù)并沒有好壞之分，關鍵看你怎么用、用在哪。也沒有絕對的客觀，如果說攝影師的取景框是他們裁剪世界的一種“偏見”，那么ETL工程師給數(shù)據(jù)貼上不同的標簽、采用不同的分析模式，出來的結果也不一樣。但是這種價值的“提純”，會讓整個社會的生產效率得到極大提高。近日發(fā)布的《2019中國薪酬標準指南》中顯示，由于越來越多的管理決策正轉向數(shù)據(jù)驅動，數(shù)據(jù)分析能力已成為中國公司招聘時高度關注的技能。
有人將ETL工程師等同于“碼農”，認為寫寫代碼取數(shù)，便是數(shù)據(jù)分析工作的核心，其實是錯誤的。“數(shù)據(jù)提取只是一種手段，而不是目的。真正的工作在于‘分析’，這才是核心。”途牛旅游網的ETL工程師Mandy解釋到。
美國沃爾瑪超市有一個很經典的案例，把看上去毫不相關的啤酒和尿布擺放在一起，兩者的銷量大幅提升。“商品的關聯(lián)是件很神奇的事，通過數(shù)據(jù)分析發(fā)現(xiàn)，男性顧客在購買嬰兒尿片時，常常會順便搭配幾瓶啤酒來犒勞自己。”1990年出生的沈海旺，是蘇寧集團自產的一位ETL工程師，前面提到的關于買奶粉的短信提醒，可能就是他的杰作。沈海旺做過一個嬰幼兒奶粉“周期購”的數(shù)據(jù)分析，讓蘇寧易購上的奶粉銷量上升了三成。
沈海旺發(fā)現(xiàn)，商城上賣出去的一件奶粉，有可能是一箱，也有可能是一聽，每一種都分900克、1200克等不同規(guī)格。通過參照每個年齡段孩子攝入奶粉量的不同，可以大致推斷出用戶的購買周期，最終通過短信方式，在適當?shù)臅r機提醒用戶購買。說起來簡單，但實際的購買行為多樣而復雜，比如有的人是幫親戚家孩子買的，有的人這次在A平臺購買下次換到B平臺，數(shù)據(jù)不連貫。沈海旺將這些無用的數(shù)據(jù)形象地稱之為“臟數(shù)據(jù)”，他說初期會有大量的時間花費在“臟數(shù)據(jù)”的清洗上。
“數(shù)據(jù)本身，既不是答案也不是真相，只有不?？絾枺艜拱滓磺?。”今年3月，交匯點APP給“積分落戶”的4133名新南京人進行了畫像，原本復雜的調查過程，因為清晰的大數(shù)據(jù)的介入而變得簡單。“外地人落戶南京的時候，公安局都會出一個公示。我們找到這些公示，根據(jù)身份證號的前幾位就可以判斷他遷入南京前的戶籍所在地。”
對P2P網貸平臺的風險進行及時預警，ETL工程師也出了把力。他們設計了一個名叫“冒煙指數(shù)”的體系，匯總了互聯(lián)網、公檢法、工商稅務一切公開信息進行數(shù)據(jù)分析后評分，“冒煙指數(shù)”一旦超過60分，相關部門就要列入重點監(jiān)管；超過80分，則要啟動打擊處置程序。
調查中發(fā)現(xiàn)，目前市面上的ETL工程師的教育背景多元，學統(tǒng)計學、計算機、數(shù)學、金融學甚至情報學的都有，他們大多是大專及以上學歷，90后男性為主。男生工具分析的能力強，而女生心細，自我要求高，兩個性別在這個行業(yè)各有優(yōu)勢。對于這個職業(yè)來說男生更深，女生更廣。
數(shù)字化轉型浪潮席卷各行各業(yè)，大數(shù)據(jù)以極快的速度從概念走向現(xiàn)實，深度嵌入到經濟社會的方方面面。“截至2018年，世界500強公司里，90%以上都有類似ETL工程師的崗位。”沈海旺所在的標簽平臺產品部是蘇寧大數(shù)據(jù)中心下面的一個部門，2013年他從江蘇科技大學畢業(yè)加入蘇寧時，還沒有這個部門。從孤身一個人做大數(shù)據(jù)，到如今發(fā)展成數(shù)十人的部門，也折射出大數(shù)據(jù)分析在中國的熱度。而作為一家世界500強企業(yè)，蘇寧目前擁有200-300的大數(shù)據(jù)人才，除了位于IT總部底下的大數(shù)據(jù)中心，各個業(yè)務部門也都分別有自己的ETL工程師。
事實上，2016年2月,北京大學、對外經濟貿易大學、中南大學首次成功申請到“數(shù)據(jù)科學與大數(shù)據(jù)技術”本科新專業(yè)。也就是說，真正專業(yè)對口的第一批畢業(yè)生要到2020年才能走上ETL工程師的工作崗位。而現(xiàn)在從業(yè)的ETL工程師，都是從計算機、信息、金融、統(tǒng)計學等專業(yè)分流而來的。
“剛剛畢業(yè)的大學生，薪水就等同于我們企業(yè)中層，即使這樣，想招到一個優(yōu)秀的ETL工程師依然很難！”一家國際家電集團的江蘇總部人力資源部負責人說。“他們不愁找工作，普通從業(yè)經驗超過3年的人，都比較搶手，獵頭跟著挖，一旦跳槽工資跟著翻倍。”
