| 國泰金控 | 基礎建設 | Hadoop | ML | 地理資訊

國泰金控打造數據平臺基礎建設,要擴散應用至3大生態圈

國泰金控分享自家數據平臺基礎建設發展歷程,從最早期的資料倉儲,一步步導入Hadoop、自建ML平臺和數據中臺,來產出更多樣的業務應用。他們將產出應用分為客戶經營、客戶體驗和數據共享平臺3大類,更舉出各自的經典案例如智能商險平臺、智能數據應用平臺,以及地理資訊分析平臺。

2022-05-19

| 封面故事 | Uber | 大數據 | IT預算 | IT省錢術 | Hadoop | HDFS | Yarn | 叢集聯邦 | 通用負載平衡

【Uber大數據平臺效益優化術】Uber手把手分享平臺效率優化8項心法,從檔案瘦身到聯邦叢集都優化

Uber大數據省錢術第3支箭瞄準平臺效率,透過檔案格式優化、改善YARN排程策略、叢集聯邦等方法來提高效率,後來還發起HydroElectricity專案,就像蓄水發電般,善用後臺工作節省前臺CPU耗能

2022-02-15

| Uber | Hadoop | 大數據 | 資料湖 | 即時分析

4年資料暴增百倍,Uber靠三大省錢戰略兼顧可靠性和成本效益

Uber服務快速擴張到全球,呈現爆炸式成長,但也帶來了另一個甜蜜的負擔,他們手上的資料呈現指數型成長,從數PB,4年暴增到數百PB,大數據平臺成了最燒錢的負擔

2022-02-15

| Kubernetes | Blue Data | MapR | Hadoop | KubeDirector

HPE推出K8s容器平臺,可同時支援非雲端原生應用系統部署

採用開放原始碼版本Kubernetes之餘,即將於3月上市的HPE Container Platform,也整合Blue Data的軟體與MapR的檔案系統技術

2020-01-28

| google | Dataproc | GPU | Cloud | Apache Spark | Hadoop

Google雲端Spark叢集服務Dataproc現可運用GPU加速運算

Dataproc用戶可以在叢集中附加GPU,在工作流程中混合Spark機器學習與GPU深度學習演算法運算

2020-01-27

| K8s | 微服務 | 通用資料平臺 | 數位轉型 | AI轉型 | Line | 雲端原生架構 | Rancher | Hadoop | 資料特徵服務架構 | 混淆工程 | 去識別化 | 隱私 | 個資

【擁抱K8s、微服務和通用資料平臺新架構】AI轉型也得換體質,LINE資料平臺和IT架構雙雙大翻新

為了全力發展AI,LINE不只提出了2大資料治理原則,也展開資料平臺大整合,不只整合了上百PB的大數據平臺,私有雲基礎架構也開始擁抱K8s,自建微服務框架,來提高自動化維運的效率

2019-12-12

| AWS | Hudi | Spark | Hadoop

Amazon EMR現內建Hudi可簡單操作單筆記錄資料

Amazon EMR用戶現可使用Apache Hudi對單筆紀錄資料進行插入、更新和刪除。

 

2019-11-19

| google | Cloud Storage | Hadoop | 推特

Google更新Cloud Storage的Hadoop連接程式,強化欄式資料格式支援

Hadoop連接程式實作了類似Linux核心中的fadvise功能,能達成謂詞下推(Predicate Pushdown),讓查詢引擎只讀取需要的檔案區塊

2019-09-02

| google | Cloud Dataproc | Hadoop | Kerberos

Google大數據分析服務Cloud Dataproc終於可以直接套用現成Hadoop資安政策了

Cloud Dataproc支援Kerberos與Hadoop安全模式,可以讓用戶無痛地將本地Hadoop安全控制搬遷到雲端

2019-07-03

| google | Cloud Dataproc | Hadoop | Spark

Google添加Cloud Dataproc可選元件,更完善支援自動化與先占式運算資源

Cloud Dataproc會在節點不可用時,留存其有狀態資料,可減緩虛擬機器搶占,而導致應用程式執行失敗的問題

2019-04-18

| Cloudera | Hortonworks | Hadoop

Cloudera與Hortonworks正式完成合併,搶攻AI、邊緣資料應用市場

要同時維持商用服務及開發Hadoop版本,是件蠟燭兩頭燒的工作。雙方決議併購後,除了資源、人力的整合,財務狀況也可望獲得解套

2019-01-07

| 殭屍網路 | DemonBot | Hadoop

新興殭屍網路DemonBot招兵買馬,鎖定Hadoop伺服器

資安業者發現一新興殭屍網路DemonBot鎖定Hadoop伺服器,利用Hadoop核心元件YARN的錯誤配置取得伺服器掌控權,已有超過70台Hadoop伺服器遭感染。

2018-10-26