查询速度最高提升50倍!火山引擎ByteHouse在广告投放领域实践分享
据QuestMobile报告显示,移动互联网已经进入了下半场,在使用人数和使用时长方面已经没有明显增长,互联网已经流量趋于饱和。
(相关资料图)
作为广告投放主要阵地,由于互联网平台流量红利逐渐消退,越来越多的广告企业和从业者开始探索精细化营销的新路径,取代以往的全流量、粗放式的广告轰炸。精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众,这无疑对提供基础引擎支持的数据仓库能力,提出了极大的技术挑战。
在人群圈选分析中, 分析师一般利用各种标签组合,挑选出最合适的人群,进而完成广告推送,达到精准投放的效果。但由于人群查询在不同标签组合下的结果集大小不同,在一次广告投放中,分析师需要经过多次的逻辑调整,以获得"最好"的人群包。抖音集团拥有广泛的广告投放场景,在日常实践中,我们发现以下痛点问题:
●首先,数据预估。广告主需要对选定的人群组合进行预估,以便判断投放情况并确定投放预算。但广告平台用户越来越多,有的平台DAU达到上亿,使得人群包数据量过大,技术上只能采用1/10抽样存储,将导致10%误差。
●其次,性能问题。为了保证人群圈选精准度,广告主往往会设定多样、复杂的人群圈选条件,导致底层计算逻辑复杂,比如单次计算可能包含几百,甚至上千个人群包。Hive和Elasticsearch等方案在处理大数据量时,查询速度慢。如果研发人员查询某个广告主的所有用户,该方案需要扫描整个用户库,整个过程需要几分钟甚至几个小时,无法满足广告主实时性要求。
●最后,存储问题。Hive和Elasticsearch等方案需要额外的索引结构,使得存储空间变大,导致成本增加。
在以往,研发团队通常使用两种方案来解决以上问题:
方案一:将每个人群包存储为一个Array类型的数据结构,每次查询需要从Array中找到某一个特定ID。
方案二:使用一个表来存储用户ID,在查询的时使用In/Join计算多个人群的交集。
经过内部长期使用经验,无论是方案一或方案二,都存在当数据量逐渐增大,查询速度无法满足实时分析需求的问题。基于高性能、分布式特点,ClickHouse可以满足大规模数据的分析和查询需求,因此研发团队以开源ClickHouse为基础,研发出火山引擎云原生数据仓库ByteHouse,并在其中定制一套处理模型——BitEngine,用于解决集合的交并补计算在实时分析场景中的性能提升问题。
据介绍,BitEngine是一个高效集合数据处理模型,底层基于MergeTree Family存储引擎,并在此基础上引入了BitMap64类型,开发了系列相关运算函数。BitEngine提供的BitMap64类型适合表达具有特定关系的大量实体ID的集合,将集合的交并补运算转化为bitmap之间的交并补运算,从而达到远超普通查询的性能指标。
那么,BitEngine如何应用在人群圈选场景中?举个例子,广告主需求为圈选出“人群包A”和“人群包B”的交集人群,完成广告精准投放。
人群包情况: ●人群包A = [10001, 20001,30001,40001,50001],人群包B = [10001, 20001,20002,20003,20004] 期望结果: ●通过BitEngine计算A&B = [10001, 20001] |
首先,人群包按照一定规则划分为多个区间,任意两个区间之间的人群包没有交集,由BitEngine保障数据的读取和计算是严格按照区间进行;其次,BitEngine在数据读取时会为每一个文件构建一个读任务,由一个线程调度模块完成整个任务调度和读取;最后,BitEngine完成所有中间结果计算后,按照结果的输出要求做一次数据合并,由此完成交集计算。已上线业务的测试表明,相比普通和Array或者用户表方式,BitEngine在查询速度上有10-50倍提升。
BitEngine上线前后查询耗时监控
BitEngine不仅仅在抖音集团海量广告投放场景中使用,目前更是集成在火山引擎云原生数据仓库ByteHouse中对外输出。火山引擎ByteHouse主要为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析,具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性,目前已经与中国地震台网中心、海王集团、莉莉丝游戏、极客邦科技等诸多行业企业达成合作,深度助力各个行业数字化转型。(作者:陈升)
关键词:
您可能也感兴趣:
为您推荐
普法宣传进乡村 法治意识入民心
中超成都蓉城凤凰山主场入场检票时间是多久?
出游人次半年增逾六成 暑期旅游“热”力延续
排行
最近更新
- 查询速度最高提升50倍!火山引擎ByteHouse在广告投放领域实践分享
- 实探818理财节(中篇):6家券商样本,创新基因已“根深蒂固...
- 理解房价的关键在于土地供给弹性——房地产新模式下的两个解...
- 是“误会”,还是碰瓷式维权
- 暗黑破坏神4玩家数量骤降 玩家热情开始下滑
- 上半年滨城科技工作“成绩单”亮眼 滨海新区创新发展引擎马...
- 24GB内存手机时代到来:小米Redmi、一加、realme都将发布
- 《人生大事》导演刘江江新片《出入平安》开机
- 联想集团营收下降66% 清理过剩存货
- 《博德之门3》第四个热修复补丁发布:回滚回滚
- LG新电视发布:27英寸旋转电视仅售7300元
- 虎牙二季度净利2318.7万元,同比扭亏
- 谷歌停止支持 wearable os 2 智能手表:升级 Wear OS 3 或更高版本
- 横店东磁最新公告:上半年净利润同比增长52.03%
- 网易手游《风云岛行动》停止开发运营,玩家福利来了
- 王石谈碧桂园事件:杨国强先生会积极地应对困难
- 去年亏掉 70 多亿的 B 站,终于学会了省钱
- 沈阳辉山建投挂牌转让春天花正开酒店100%股权 底价6.69亿元
- 台媒:台大化工系一实验室爆炸起火 9人受伤送医
- 孤注一掷:邓萃雯让我明白,在演技面前,咖位与戏份都不值一提
- 怎么才能挑到又沙又甜的西瓜
- 合资、自主普降,掉队的东风能否获新生?
- 创1月以来最大增幅!美国7月零售销售环比增长0.7%超预期
- 倍轻松:拟使用总额不超1.2亿元闲置募集资金进行现金管理
- 福原爱遭遇婚内言语暴力与痛苦抉择:从轻生念头到决定离婚的坚持
- 2023年8月17日河南省玉米价格最新行情预测
- 法国前总统萨科齐:外交是解决乌克兰危机的唯一途径
- 步步高:公司预重整相关进展,我们将在指定媒体上及时进行披...
- 中建·京西印玥 |西五环难得5-6层低密洋房,实景现房兑现墅境...
- 打造个性化、定制化产品 促进家居消费提档升级