博客
关于我
SSIS 剖析数据流之:连接和查找转换
阅读量:755 次
发布时间:2019-03-23

本文共 1495 字,大约阅读时间需要 4 分钟。

在SSIS(SQL Server Integration Services)数据流组件中,Lookup组件和Merge Join组件分别负责实现TSQL语句中的INNER JOIN和OUTER JOIN功能。Lookup组件的查找功能类似于TSQL的EXISTS关键字。以下将从组件的结构、Lookup转换特性、Merge Join转换特性以及缓存管理机制等方面详细阐述。

一,Lookup转换组件的结构

Lookup组件主要由以下几个部分组成:

  • 输入(Input):接收流经的数据行,通常来自数据流。
  • 查找表(Reference Table或Cache Table):存储用于匹配的键值对。
  • 映射关系(Mapping Relationship):定义输入列与查找表中列之间的相等关系,类似于JOIN子句中的ON条件。
  • 多个输出(Output):根据匹配情况,将数据输出至下游组件。
  • Lookup组件的查找过程

    Lookup组件对输入数据行逐一进行查找操作。具体流程如下:

  • 对于每一行输入数据,Lookup组件会进行全表查找,看是否存在匹配的键值。
  • 如果找到匹配项,将该数据行通过“Lookup Match Output”输出到下游组件。
  • 如果未找到匹配项,将数据行通过“Lookup No Match Output”输出。
  • Lookup组件的缓存模式

    Lookup组件提供三种缓存模式,分别是:

  • Full Cache Mode:将整个查找表数据加载到内存中,减少后续查找时的外部查询次数。
  • Partial Cache Mode:只将部分数据缓存到内存中,适用于查找表数据量较大的情况。
  • No Cache Mode:每次查找都要直接向数据库执行查询,性能较低。
  • 在实际应用中,应根据查找表的数据量大小选择合适的缓存模式。如果查找表数据量较小且更新频率低,使用Full Cache Mode会更高效。

    Merge Join转换组件的特性

    Merge Join组件的主要作用是对两个有序的数据流进行INNER JOIN、LEFT JOIN或FULL JOIN操作。

    Merge Join的特点

  • 半阻塞转换:在拦截数据流之前,Merge Join需要等待两个输入的数据键值匹配完成。
  • 内存占用有限:通常只需要维护少量数据,主要依赖外部数据库的排序功能。
  • 性能优化:建议在数据库层面使用Order By子句对数据进行排序,而不是在数据流中使用Sort组件,除非外部数据无法保证有序。
  • Lookup转换的流式特性

    Lookup组件的流式处理机制具有以下优势:

  • 非阻塞转换:允许数据流在被处理的同时继续通过。
  • 边加载边处理:在某些缓存模式下,不会阻塞数据流。
  • 数据源配置注意事项

    在数据源组件中,确保数据流是已排序的非常重要。可以通过以下方式实现:

  • 数据库层面使用Order By子句进行排序。
  • 在OE DB Source组件中设置IsSorted属性为True。
  • 在Output Columns中配置SortKeyPosition,定义排序的列及其顺序。
  • 缓存连接管理器(CCM)

    CCM用于对Lookup组件的缓存进行管理。它能够从多种数据源中加载数据到缓存中,减少重复加载相同数据的开销。如果多个Lookup组件需要使用相同的查找表,可以通过CCM共享缓存数据,提升整体性能。

    通过以上方法的合理配置,SSIS Lookup和Merge Join转换组件能够有效地实现数据集 merits的数据集成任务。在实际应用中,应根据具体需求选择适合的缓存模式和数据处理策略,以最大限度提升数据流处理性能。

    转载地址:http://fjfzk.baihongyu.com/

    你可能感兴趣的文章
    mysqlreport分析工具详解
    查看>>
    MySQLSyntaxErrorException: Unknown error 1146和SQLSyntaxErrorException: Unknown error 1146
    查看>>
    Mysql_Postgresql中_geometry数据操作_st_astext_GeomFromEWKT函数_在java中转换geometry的16进制数据---PostgreSQL工作笔记007
    查看>>
    mysql_real_connect 参数注意
    查看>>
    mysql_secure_installation初始化数据库报Access denied
    查看>>
    MySQL_西安11月销售昨日未上架的产品_20161212
    查看>>
    Mysql——深入浅出InnoDB底层原理
    查看>>
    MySQL“被动”性能优化汇总
    查看>>
    MySQL、HBase 和 Elasticsearch:特点与区别详解
    查看>>
    MySQL、Redis高频面试题汇总
    查看>>
    MYSQL、SQL Server、Oracle数据库排序空值null问题及其解决办法
    查看>>
    mysql一个字段为空时使用另一个字段排序
    查看>>
    MySQL一个表A中多个字段关联了表B的ID,如何关联查询?
    查看>>
    MYSQL一直显示正在启动
    查看>>
    MySQL一站到底!华为首发MySQL进阶宝典,基础+优化+源码+架构+实战五飞
    查看>>
    MySQL万字总结!超详细!
    查看>>
    Mysql下载以及安装(新手入门,超详细)
    查看>>
    MySQL不会性能调优?看看这份清华架构师编写的MySQL性能优化手册吧
    查看>>
    MySQL不同字符集及排序规则详解:业务场景下的最佳选
    查看>>
    Mysql不同官方版本对比
    查看>>