
Patrick Firouzian,PayPal 上海风险技术负责人(腾讯科技摄)
腾讯科技讯 10月26日,2012全球软件开发大会(杭州站)进入第二天议程。 PayPal上海风险技术总监Patrick Firouzian在大会上发表主题演讲,分享Paypal线上线下大数据欺诈风险管理技术。
据 Patrick Firouzian 介绍,Paypal 已出现在全球 190 个市场,其支付平台跨越 129 个国家,交易额达到 1500 亿美元。他还指出,Paypal对于像中国这样被称为“世界上最大的生产基地之一”的国家来说是一个非常有用的平台。在中国上海,PayPal 拥有 800 名员工,可以提供风险管理、客户支持和技术服务。
Firouzian 表示,目前互联网上 IT 最热门的工作不是安全,而是数据分析。而数据工程师是互联网上最受欢迎和薪酬最高的工作。数据工程师的工作主要负责处理存储在公司硬件设备中的数据,并对数据进行分析和解释。
对于大数据的定义,Firouzian 认为大数据不是大数据仓库。大数据包括价值、速度、品种、流量等。大数据并不意味着有很多数据聚集在一起,而是你如何使用这些数据。事实上,大数据还包含许多可以使用的技术。
他指出,大数据是一门非常成熟的科学,Paypal也在做一些开源和工具的贡献,我相信谷歌(微博)和Facebook也在做这方面的工作。数据工程师是IT行业最热门的工作。他认为这是一门艺术。数据工程师是未来的好工作,大家可以考虑一下。
今年,来自腾讯、阿里巴巴、淘宝、盛大、天翼、百度、陌陌、支付宝等公司的一线技术专家,以及来自Facebook、Tumblr、PayPal、RightScale等国内外技术的外籍讲师专家出席了本次会议。
腾讯科技作为本次大会战略合作伙伴和官方指定微博平台,以图文微博直接关注大会盛况。
以下内容摘自 PayPal 上海风险技术主管 Patrick Firouzian:
Patrick Firouzian:我是 ebay,我们是大数据团队,杭州是一个美丽的地方,很高兴和你在一起,很高兴你也在这里。今天介绍的内容很有意思。你刚才提到了江南风。你们当中谁会跳这种骑马舞?我给你奖品。不要发微博,我马上给你发奖。
接下来,我们将继续谈论它。今天给大家介绍的内容是大数据和欺诈检测的内容。今天介绍的内容不是大数据培训,也不是防欺诈培训,只是给大家一些思路。现在我们平台上有这么多商家,每个人都可以通过Paypal付款。你见过我们的标志吗?有了这个东西,你可以用你的信用卡,你可以用苹果或安卓的终端,因为你可以直接用你的信用卡,很安全,而且已经加密了。简而言之,这是一种让每个人都无需其他东西即可付款的新方法。在中国,这些设备正在逐渐出现。接下来,我将介绍Paypal。 Paypal 是每个人都熟悉的,在全球 190 个市场上均有销售。我们的存在。我们的支付平台跨越129个国家,交易额达到1500亿美元。我们的第一个问题是关于 Paypal。看看它的营收,你认为哪些国家是前十?我们来看看,Paypal 包揽了收入前 5 名的城市。我们知道,中国是世界上最大的生产基地和世界工厂。中国商人如何销售他们的产品?他们用什么来略读?他们中的许多人使用 Paypal 付款,这是我们在许多国家/地区拥有的非常有用的平台。在中国上海,我们有 800 名员工,我们提供风险管理、客户支持和技术。
我们知道网络欺诈有许多不同的面具。事实上,Paypal 是一家银行。过去,如果你抢劫银行,你需要带上武器。进去之后就不用付钱就拍了。或者有时候需要在里面装炸药,现在可以在家抢银行,用软件和电脑就能赚钱。但是你还是会被关进监狱,所以我们的工作是确保钱,你的交易是安全的。有很多人想利用 EBAY,有很多机器人,外星人,应有尽有。大家都试过了吗?如果你想骗我们,我可以雇佣你,很赚钱,我们知道有很多公司都是这样赚钱的,他们用黑客的方法闯入互联网,这是非常危险的。
这是一家俄罗斯公司,他们会向您出售一些黑客软件,这样您就可以破解一些网站并赚钱。这是一项业务,您会看到他们有办公室,也有客户支持。如果您销售此类软件并入侵淘宝、阿里巴巴或 Paypal 等公司,您将无法成功。例如,您是否觉得联系他们的客户以便他们可以帮助您很有趣?既然有这样的东西,但是你可以看到每个互联网网站都充斥着金钱,比如每个身份,知识产权,这些都是可以被窃取的一些财产,我们是软件工程师,我们必须确保互联网盗窃不会被发现。你觉得这次会议有意思吗?是不是很有趣。这两天你听过多少次敏捷这个词?敏捷是一个很有意思的词,Paypal、EBAY,我们很久以前就开始使用敏捷了。我们的客户也信任我们的公司,我们使用软件来检测互联网上的欺诈行为。这样,您可以更好地保护您的平台。
这是我们的客户,我会尽快与您分享一些案例。在这里你可以看到这个女孩正在卖一台iPad,昨天推出的新款迷你iPad非常酷。她在纽约,我们知道他的 IP 地址,我们知道她的电话号码。我们再来看看她的收货地址,我们算一下两者的差距,很可能他住的就是它的收货地址,看她的IP地址,IP地址也是在纽约,这都是自动计费。再次查看她的 IP 地址,她正在通过代理服务器进行操作。这可能会涉及一些风险,因为很多人可以使用代理服务器来绕过防火墙,或者掩盖您的真实身份,而我们有一款可以检测这些问题的软件。
让我们检查一下她的地址是否是货运代理的地址。她可能隐藏了她的真实地址。我们在看她的地址还是可以的,到底这个交易是好是坏?我们认为这很好,没关系。接下来,我会告诉你哪些交易是相对高风险的。当然,现在我们正在解决写作和前进的非常有趣的问题。
Paypal 在全球市场上实际拥有多少个市场? 30? 190?很好,你离我远点,我会想办法把这个扔给你。还有谁想要它?我们处理多少种货币?我想让大家不困,所以我送你一个小礼物。我们都知道莫尔斯定律,即计算机的性能不会随着时间的推移而加速。我们现在在支付行业面临的复杂程度远高于过去。同时存在欺诈,欺诈也复杂得多,因为欺诈的面貌是千变万化的。这场骗局结束后,下一次的骗局就完全不同了。他们在欺诈方面没有新的创新。我们目前正在处理 2 亿媒体。你了解MQ吗?所有这些练习都会产生练习处理系统,它们会产生一些新的事件,而我们会在系统中使用大量的在线事件进行处理,这意味着我们必须对所有这些事件做一些工作,才能进行处理。它包含了很多信息,而我们在这个数据中并不知道很多信息。
你知道互联网上最热门的工作是什么吗?互联网上最热门的 IT 工作是什么?安全?可能是一个火爆不了的工作,数据分析是最火爆的。数据工程师是互联网上最受欢迎的工作。每个人都想找一个数据工程师。必须有人处理数据。数据进入系统后,公司会购买硬件来存储数据。做?他们将这些数据交给数据工程师,让他们处理、分析和解释数据。所以现在,我们收入最高、最受欢迎的工作是数据工程师。让我们看看,如果我要从头开始我的职业道路,我可能会选择这份工作。
这些数据来自哪里?如果你是制造业或航空公司,你每天都会接触到很多事件。例如,航空公司在飞机飞行中执行的数据是从自身复制而来的。对于支付宝和Paypal来说,我们需要的是接受支付前的时间和支付后的事件包含数千万的数据。这是我们每天必须面对的。当我自己想买东西的时候,我会先在网上搜索一些信息。之前是在实体店买的,国内比较难,送货上门就没那么方便了,现在我们可以选择不同的方式,比如货到付款,线上线下支付,现状和过去相比,有了大的改变web工程师想转大数据,你可以换种方式购物。
什么是大数据?谁知道大数据是什么?大数据是大数据仓库吗?是的?不。价值、速度、品种、流量。还有谁考虑过这个问题,其实不是指大数据的存储,这不是大数据的意思。 Bin并不是说有很多数据收集在一起,而是你如何使用这些数据,也有很多技术可以使用。为什么我们的橱柜是白色的?因为在数据库里,数据中心里有很多这样的机柜,为什么都是白色的?因为使用白色可以节省能源。如果这些橱柜是白色的,我们可以节省电力并节省数千美元。你听说过 HBASE 吗?每天都有HBASE演讲,所以大家要注意明天的演讲日程。我们有多种产品可供您下载并在您的设备上运行,这是使用此工具的一种非常简单的方法。
如果你想开始学习大数据,你可以自己尝试,这里有我们的一些技术,数据与大技术的战斗。我们使用一些云数据应用程序,我们也使用Hadoop,它也是一个开源工具。它可以更强有力地支持您的服务。例如,如果您有一些掌声,他可以帮助解决所有问题。在线大数据,让我为你展开。这在软件中经常使用。很多公司都在用这样的在线大数据,所以你可以看到有很多数据,有一个大数据平台。在这个图表构成中有很多箭头,最上面是Paypal point COM网站,它的数据会去数据仓库,客服人员会在线使用数据,数据仓库会处理这些数据并做出决定,然后使用此数据,这些是离线数据。等待时间从 1 到 24 小时,数据存储在缓存中,缓存是内存中的存储,具有足够的内容来帮助您做出决策。
大家都知道缓存的灵活性,我们的数据可以由非常复杂的事件处理程序处理。您可以看到有许多不同的组件可以帮助我们不时做出决策。
这是我们的 CEP,如您所见,他为这些事件提供了一个总线,一直在发送事件,所有事件都是从 Paypal 网站生成的。我们有一些隐身的做一系列的功能,我们也有互联的引擎,在我们复杂的事件处理系统下,这些都是非常重要的流程。您可以在新湖中建立许多事件的练习属性。在一般的数据库中,没有能力,所以你可以达到这一点。互联互通是在很短的时间内建立起来的?您对 CEP 有一个好的定义吗?什么是事件复杂度?工具的定义是什么? CEP 的具体定义是什么?我们对它没有一个简单的定义,它是一项非常复杂的技术。让我们看看 CEP。 CEP 与数据库相反。对数据库进行查询,您将得到结果。在复杂事件的处理中,你会有一个查询,然后你会向查询发送数据,你就会得到一个结果。这只是逆过程,但它的影响力也很强,因为它的过程也很复杂,而且会跨域处理。所以它是一个工具,不知道有多少人知道和理解它?复杂实践处理领域是一个新概念、新技术。至少我是这么认为的,在整个数据管理方面,它是一项独特的新技术,请记住我现在所说的话。以后你会看到我们的Qcon大会,我们会聊聊大事的内容。我们必须这样做,否则,我们将无法迅速做出决定。除非我们使用数千名客户支持人员和许多分析师,否则我们可以快速做出决策。
这张幻灯片很难阅读,尤其是如果您是色盲者。也就是说,在数据库中,工作管理的力度不同,我把这张图放在这里,这张图告诉我们必须妥协,或者使用不同的技术来操作,根据个人计算。 看黄色区域,速度非常快、CPU 效率高、灵活性高的部分都存储在内存中。看看数据库,比如说高密度,它们也有利于工作流管理。但是对于IEO和存储来说,性能不好,而且存储很贵。所有这些都基于您的预算和策略。你必须取得平衡。一方面,你需要看看你有多少钱,另一方面,你需要找到适合自己情况的策略。在这个页面上,我们可以看到左侧超级安全,右侧足够安全。超级安全的速度较慢,但在右边,您可能需要做出更快的决定,而右边可以做到。我想问一下,以我们的Paypal为例,要快速做出决定,速度是多少? 10秒?具体来说,当您使用 Paypal 时,当您单击按钮时,会出现下一页。不能是 10 秒。 10秒太慢了。 100 毫秒?或更少?实际上不到100ms,相当快。
这种方法超安全多久?它非常安全,但需要很长时间。比如你想做一笔交易,你想及时付款,然后得到你想要的,让你输入你的社保号,所以我们需要在这方面做一个权衡。在此页面上,我们可以看到它包括三个不同的级别。我们称其为离线、在线和始终。有人知道ATO吗?是账号劫持。 1、2、3、4、5,你们都在笑,如果我们现场询问,例如,五年前,如果我们询问, 10% 的单词 PASRO 用于人们的密码。当我们给他发电子邮件要求他们更改密码时,大约有 10% 到 20% 的人是这样的。下一层有一个传统的数据库。除了中间层,下面还有大数据的科学。在这方面,我们需要一些离线风险指标技术。这具体是什么意思?响应时间从毫秒级别,甚至在做决定的时候,到几百毫秒,几分钟,你需要花时间做决定。
让我们再看一下PG,它的时间可以从几个小时开始,谁来决定?财务总监?它可能是您公司的首席执行官。他会决定你能承受多少风险,看平台能承受多少风险。
为什么这里有猴子和狗和猫,这是什么意思?我对大数据的介绍与这些东西有什么关系?我们在谈论的是你认为有很多内容,它们不兼容。我们讨论的数据可以放在一起,我们可以把不同的数据信息整合在一起,这种情况下,我们都看过网络日志,还有一些半结构化的数据。实际上,在 HKMLL 中,它们之间存在结构。几年前,我们都在做结构化数据,但是你们都用CQ作为数据库,你可以做得很好。你曾经用 CQ 做过网络日志吗?里面有很多字,很没用。里面用起来很不方便,有些像JAVE之类的代码也写不出来。如果你比较这三者,你会得到一张客户在交易时的照片,他们花费了多少时间,以及他们去了哪里。你知道如何测试机器人吗?你都有些什么想法呢?我们不知道它们在每一页停留了多长时间。
让我们看一下日志,看看他们在不同页面上花费了多少时间,比如说这个地方花了 5 秒,有时可能需要 1 秒,如果是 1 秒,则可能是机器。因为普通人看到它,可能需要5秒钟。接下来我给大家举几个例子,这个很复杂,也很保密。在这里,我不会谈论很多细节。如果您有任何问题,可以在会后来找我。这个图具体是可以用来计算不同页面之间的间隔时间,是一个变量。我们可以看到这个数据也是不一样的,你来这个集群的数据源,你可以在这里看到一些新的变量,ABC,你可以去DEF这些页面,如果你发现速度很快,他们可能是使用机器人。我们从网络日志和用户交互中看到了一些。我们综合这些信息,用JAVE进行了多次测试,比较简单。
第二种情况。昨天介绍的,我们可以用一些图表,可以看到里面有很多烟花,其实都是图片,我们可以用IP地址,或者具体地址,或者电话,还有它们之间的一些相关关系,这里我们面临的挑战是如何知道这张图片,两张图片的相似度在哪里,相似度有多大。你对这两张照片一模一样的把握有多大?这是机器学习。比如客户有4个身份,利民有具体的地址和电话号码。我们知道他们的交易额超过了10,000美元。我们知道这是一种欺诈情况,从这张图就可以看出。其实很多账号之间有很多关联关系,我们能不能来我们的机器上看看所有的事件,告诉他们哪些是相似的。如果发现这些问题,我们会把数据发给客服,我们会发现一些造假的内容,交给我们的系统,什么情况不好,那些图片不好,让我们知道哪里出了问题如果你想了解更多细节,可以在会后来找我。很多公司都在这样做,他们都想知道更多,因为这就是工作发展的下一步可以通过不同事物之间的关系来完成。
如果要够快,就需要使用蓝一模式,这样计算起来更容易,否则就太复杂了。编程需要很长时间。其实他们也有很多不同,比如KE层就有很多不同。这是我们找到的一些最相关的内容,我们发现一些图表它们的相似度可以达到 47%,以至于我们拥有如此高水平的信息,这是两个非常不同的事件。这是事件的关联,过去很多人都是这样赚大钱的。现在更常见了,所以我可以告诉你。过去,人们在网上窃取信用卡信息。中国现在还不错。美国和加拿大的信用卡被盗问题很大。日本也开始出现这种情况。首先,他们在Paypal中进行了注册,然后将钱汇到了这个账户,然后偷走了信用卡。他们将钱转移到另一个账户web工程师想转大数据,他们相信他们会等待。他们会将这些转入银行账户,而且很多时候,Paypal 系统都不知道是怎么回事,也不知道信用卡被盗了。我们将这两个事件联系起来,放一张牌,平方钱,然后把这个钱拿出来,就是一个模式。然后我从卡中付款并取款,这都是模式。我们将这些情况与 CEP 引擎联系起来,让引擎知道这种情况是欺诈。
我们如何处理这个问题?有时我们从所有数据中挖掘一些价值,有时我们建立自己的网络,我使用这些数据,我们系统中的数据。我们与许多大型社交媒体网站合作,以便更好地获取数据进行挖掘。现在有很多网站是明智的,他们也有防火墙,有时很难进入他们的网站并获取数据。有一个很有意思的项目,下次见面你会看到,是社会声誉的问题,你知道什么意思吗?你可能听说过,比如我们之前讲过图形,在网站上,在互联网上,我们每个人在不同的网站上进行交互,比如微博、人人网。您正在与这些系统或您的大学论坛和 Facebook 进行交互,您正在这些网络上进行交互。我们当时把你当作一个人,然后观察你在互联网上的所有互动行为。根据这个交互行为,我们会发现这些交互行为的质量,我们会看到你的在线朋友是什么,看看你的朋友是好是坏。不好,看看你的朋友怎么说你。如果您与好朋友建立了良好的网络,那么您很可能是一个好人,但不是绝对的。
如果你的网络不好,你可能就是其中之一,而你不是一个好人。因此,社交网络的性质非常重要。根据社交网络的评分,我们可以审查您自己的质量,这可以加快您的交易速度,我们可以帮助您做更多的事情。赶快。这里有多少人玩网络游戏?你知道,Paypal 有利可图的资源是你可以在线购买武器,有很多公司和人在玩这些游戏,他们正在制造这些武器并出售它们。所以Paypal在这个领域赚了很多钱。如果您是一名优秀的玩家,我们也知道您总是按时付款。在我们的交易中,我让您立即购买我们的武器,并同意您可以延迟付款。 这是一个很好的例子。
最后,在你们吃午饭之前,我要谈谈木星。大数据是一门非常成熟的科学,我们Paypal也在为开源和工具做一些贡献,我们希望这些工具会变得更好。我相信谷歌、Facebook 的人也在做这种工作。数据工程师是 IT 行业最受欢迎的工作。我觉得这是一门艺术,大家一定要注意。并且要知道,数据工程师将来是一份不错的工作,你也可以考虑这个工作。互联网上的信息越来越多,如果考虑到大数据,可以在互联网上找到更多的数据。数据工程师的工作在中国市场越来越多,未来可能是我们最完美的工作。
总结一下我们过去做过的一系列项目,也是和同济大学合作的项目。如果您注册并查看我们的网站,您还可以免费获得一只蜻蜓,EBAY TECH,它是由一些需要帮助的人制作的蜻蜓。我在美国、美国和中国都有不同的工作经历。我在中国有8年的工作经验。工程经验是我在技术和学习方面最好的工作经验。而且真的满足了我求知的欲望。在此,我还要感谢大家,因为你们现在是我们的主流,你们正在改变我们互联网的面貌。
现场提问:我想问一下风险监控系统是否需要认证产品,比如证书或者注册。您如何理解检测和决策之间的关系?
Patrick Firouzian:这是关于产品认证、证书的。
现场提问:现在进行风险监控,Paypal使用认证产品吗?
Patrick Firouzian:我们现在使用的工具已经在我们之前的演示中看到过,我们所有的开源产品都没有经过认证,除非我们有一些云,我们构建的所有系统都是我们自己构建的。 CEP产品,我们没有选择特殊产品,CEP产品是经过认证的。有很多产品是公司内部的人知道并自己开发的。监督和决策的关系,我们一直在监督,我们一直在做决定,但是这种监督的结果是,我们可以帮助我们达到高度的信心,可以给我们一些警告。我们高层也有一个庞大的团队,他们都在编写原则,以确定哪些事件和哪些关卡是相连的。这是一项广泛的工作,要么你只是在做监管而不做任何决定,要么你要停止交易,你要给客户服务更多一点。
现场提问:第一个问题有点误解。我想问一下是否有使用交叉检查的产品。我们在监控风险时,识别风险,识别并做出最终决定,是接受还是拒绝这个用户?这两种关系在我们的实践中是分开的吗?
Patrick Firouzian:第一个问题,如果你用这样的短信挑战某人,我们会这样做。我们现在将做同样的交付。如果我们想知道您是否这样做,我们有时会使用您的电话,因为我知道您的电话号码,我们会在线询问您的电话号码并将您的电话接受的 PIN 输入网站。以后我们可以有生物的方法,当然短信也是一个很好的确认方式,所以我们用不同的方法,一切都是我们自己造的方法。当然,可能有一些我不知道的产品,但我敢肯定有很多产品在使用。一旦这些事件出错,您可能是欺诈性的,我们有一个强烈的信息,如果您是欺诈性的,我们不会让您继续交易。这样,我们让你进入另一个界面,让你填写地址和邮箱,这些都是在我们的过程中完成的。谢谢。
请登录后发表评论
注册
社交帐号登录