跟踪数据库架构更改的机制

时间:2020-03-05 18:37:37  来源:igfitidea点击:

跟踪和/或者自动执行数据库架构更改的最佳方法是什么?我们的团队使用Subversion进行版本控制,并且我们已经能够以这种方式自动执行某些任务(将构建推送到登台服务器,将经过测试的代码部署到生产服务器),但是我们仍在手动进行数据库更新。我想找到或者创建一个解决方案,使我们能够在具有不同环境的服务器之间高效地工作,同时继续将Subversion用作后端,通过该后端将代码和数据库更新推送到各种服务器。

许多流行的软件包都包含自动更新脚本,该脚本可检测数据库版本并应用必要的更改。这是否是在较大规模上(跨多个项目,有时跨多种环境和语言)的最佳方法?如果是这样,是否有任何现有代码可以简化流程,或者最好只是推出我们自己的解决方案?之前有没有人实现过类似的东西并将其集成到Subversion提交后钩子中,还是一个坏主意?

尽管支持多个平台的解决方案是更可取的,但是我们绝对需要支持Linux / Apache / MySQL / PHP堆栈,因为我们的大部分工作都在该平台上进行。

解决方案

回答

这是一项低技术,可能会有更好的解决方案,但是我们可以将架构存储在可以运行以创建数据库的SQL脚本中。我认为我们可以执行命令来生成此脚本,但是不幸的是我不知道该命令。

然后,将脚本及其上的代码提交到源代码管理中。当需要与代码一起更改模式时,可以将脚本与需要更改的模式的代码一起检入。然后,脚本上的差异将指示架构更改上的差异。

使用此脚本,我们可以将其与DBUnit或者某种构建脚本集成,因此它似乎可以与我们已经自动化的流程配合。

回答

在Rails世界中,存在迁移的概念,即脚本,其中对数据库的更改是使用Ruby而不是特定于数据库的SQL风格进行的。Ruby迁移代码最终将转换为特定于我们当前数据库的DDL;这使得切换数据库平台非常容易。

对于我们对数据库所做的每一次更改,我们都要编写一个新的迁移。迁移通常有两种方法:应用更改的"上"方法和撤消更改的"下"方法。单个命令可以使数据库更新,也可以用于将数据库带到架构的特定版本。在Rails中,迁移与项目其他代码一样,都保存在项目目录中自己的目录中,并被检入版本控制中。

该Oracle Rails迁移指南很好地介绍了迁移。

使用其他语言的开发人员已经研究了迁移并实现了自己的特定于语言的版本。我知道Ruckusing是一个以Rails的迁移为模型的PHP迁移系统。这可能是我们要寻找的。

回答

如果我们使用的是C#,请查看Subsonic,这是一个非常有用的ORM工具,但它也会生成sql脚本来重新创建方案和/或者数据。然后可以将这些脚本放入源代码管理中。

http://subsonicproject.com/

回答

我创建以构建版本命名的文件夹,然后在其中放置升级和降级脚本。例如,我们可能具有以下文件夹:1.0.0、1.0.1和1.0.2. 每个脚本都包含一个脚本,该脚本使我们可以在两个版本之间升级或者降级数据库。

如果客户或者客户打电话给我们有关1.0.1版本的问题,而我们正在使用1.0.2,则将数据库恢复到他的版本将不是问题。

在数据库中,创建一个名为" schema"的表,在其中放置数据库的当前版本。然后,编写一个可以为我们升级或者降级数据库的程序很容易。

就像乔伊(Joey)所说的那样,如果我们在Rails的世界中,请使用Migrations。 :)

回答

我的团队编写了所有数据库更改的脚本,并将这些脚本以及应用程序的每个发行版提交给SVN。这允许增量更改数据库,而不会丢失任何数据。

要从一个发行版转到另一个发行版,我们只需要运行一组更改脚本,并且数据库是最新的,我们仍然可以获得所有数据。这可能不是最简单的方法,但绝对有效。

回答

将模式转储到文件中,并将其添加到源代码管理中。然后一个简单的差异将告诉我们发生了什么变化。

回答

我们使用一个非常简单但有效的解决方案。

对于新安装,我们在存储库中有一个metadata.sql文件,其中包含所有数据库模式,然后在构建过程中,我们使用此文件来生成数据库。

对于更新,我们将更新添加到经过硬编码的软件中。我们将其保持为硬编码,因为我们不喜欢在问题真正成为问题之前就解决问题,而且到目前为止,这种事情尚未证明是问题。

所以在我们的软件中,我们有这样的东西:

`RegisterUpgrade(1,'更改表XX添加XY字符(1)不为空;');

此代码将检查数据库是否为版本1(存储在自动创建的表中),如果数据库已过时,则执行该命令。

要更新存储库中的metadata.sql,我们在本地运行此升级,然后提取完整的数据库元数据。

经常发生的唯一事情是忘记提交metadata.sql,但这不是主要问题,因为它易于在构建过程中进行测试,并且唯一可能发生的事情是使用以下命令进行新安装:一个过时的数据库,并在首次使用时对其进行了升级。

同样,我们不支持降级,但是这是设计使然,如果更新中出现问题,我们将还原先前的版本并修复更新,然后再尝试。

回答

我在Visual Studio中将以下数据库项目结构用于多个项目,并且效果很好:

数据库

Change Scripts
  
  
    0.PreDeploy.sql
    
    1.SchemaChanges.sql
    
    2.DataChanges.sql
    
    3.Permissions.sql

创建脚本

Sprocs
    
    Functions
    
    Views

然后,我们的构建系统通过按以下顺序执行脚本,将数据库从一个版本更新到另一个版本:

1.PreDeploy.sql
  
  2.SchemaChanges.sql
  
  Contents of Create Scripts folder
  
  2.DataChanges.sql
  
  3.Permissions.sql

每个开发人员通过将他们的代码添加到每个文件的末尾来检查他们对特定错误/功能的更改。完成主要版本并在源代码管理中分支后,更改脚本文件夹中的.sql文件的内容将被删除。

回答

我们使用类似于bcwoord的方法来保持数据库模式在5个不同的安装(生产,暂存和一些开发安装)之间同步,并在版本控制中进行备份,并且效果很好。我会详细说明:

为了同步数据库结构,我们有一个脚本update.php和许多文件编号为1.sql,2.sql,3.sql等。该脚本使用一个额外的表来存储数据库的当前版本号。数据库。 N.sql文件是手工制作的,以从数据库的版本(N-1)升级到版本N。

它们可用于添加表,添加列,将数据从旧的格式迁移到新的列格式,然后删除列,插入"主"数据行(例如用户类型)等。基本上,它可以执行任何操作并使用适当的数据迁移脚本,我们将永远不会丢失数据。

更新脚本的工作方式如下:

Connect to the database.
  Make a backup of the current database (because stuff will go wrong) [mysqldump].
  Create bookkeeping table (called _meta) if it doesn't exist.
  Read current VERSION from _meta table. Assume 0 if not found.
  For all .sql files numbered higher than VERSION, execute them in order
  If one of the files produced an error: roll back to the backup
  Otherwise, update the version in the bookkeeping table to the highest .sql file executed.

一切都进入源代码控制,并且每个安装都有一个脚本,可以通过一次脚本执行将脚本更新到最新版本(使用正确的数据库密码调用update.php等)。我们通过自动调用数据库更新脚本的脚本来SVN更新登台和生产环境,因此代码更新随附必需的数据库更新。

我们还可以使用相同的脚本从头开始创建整个数据库。我们只是删除并重新创建数据库,然后运行将完全重新填充数据库的脚本。我们还可以使用脚本填充空数据库以进行自动测试。

设置该系统仅花费了几个小时,从概念上讲它很简单,并且每个人都可以使用版本编号方案,并且它具有前进和发展数据库设计的能力,而无需沟通或者手动执行修改,这是无价的。在所有数据库上。

但是当从phpMyAdmin粘贴查询时要当心!这些生成的查询通常包括数据库名称,我们肯定不希望使用该数据库名称,因为它会破坏脚本!如果系统上的数据库未称为mydb,则CREATE TABLEmydb.newtable(...)之类的操作将失败。我们创建了一个注释前的SVN钩子,该钩子将禁止包含`mydb'字符串的.sql文件,这是一个确定的迹象,表明有人未经适当检查就从phpMyAdmin复制/粘贴了该文件。

回答

对于我当前的PHP项目,我们使用Rails迁移的概念,并且有一个migrations目录,其中保留文件名为" migration_XX.sql"的文件,其中XX是迁移的编号。当前,这些文件是在进行更新时手动创建的,但是可以轻松修改它们的创建。

然后,我们有一个名为" Migration_watcher"的脚本,正如在pre-alpha中一样,当前在每次页面加载时运行,并检查是否存在一个新的migration_XX.sql文件,其中XX大于当前迁移版本。如果是这样,它将对数据库和所有数据库最大运行所有的migration_XX.sql文件!模式更改是自动的。

如果我们需要还原系统的功能,则需要进行大量的调整,但这很简单,到目前为止,对于我们规模较小的团队来说,它一直运转良好。

回答

Scott Ambler撰写了许多有关数据库重构的文章(并合着了书),其思想是我们应实质上将TDD原理和实践应用于维护架构。我们为数据库设置了一系列结构和种子数据单元测试。然后,在我们进行任何更改之前,我们都要修改/编写测试以反映该更改。

我们已经这样做了一段时间了,而且似乎行得通。我们编写了在单元测试套件中生成基本列名和数据类型检查的代码。我们可以随时重新运行这些测试,以验证SVN检出中的数据库是否与应用程序实际运行的实时数据库匹配。

事实证明,开发人员有时还会调整其沙箱数据库,而忽略了更新SVN中的架构文件。然后,代码取决于尚未签入的db更改。这种错误很难确定,但是测试套件会立即将其修复。如果我们将其内置到较大的持续集成计划中,则特别好。

回答

K. Scott Allen在架构版本方面发表了一篇或者多篇文章,其中使用了本文其他答案中引用的增量更新脚本/迁移概念。参见http://odetocode.com/Blogs/scott/archive/2008/01/31/11710.aspx。

回答

我建议使用Ant(跨平台)作为"脚本"端(因为它实际上可以通过jdbc与那里的任何数据库对话)和Subversion作为源存储库。
在进行更改之前,Ant会允许我们将数据库"备份"到本地文件。
1.通过Ant将现有的数据库架构备份到文件
2.通过Ant对Subversion存储库进行版本控制
3.通过Ant将新的sql语句发送到db

回答

真正的问题是,开发人员可以轻松地将自己的本地更改编写到源代码管理中,以便与团队共享。我已经面对这个问题很多年了,并且受到Visual Studio for Database专业人士功能的启发。如果我们想要具有相同功能的开源工具,请尝试以下操作:http://dbsourcetools.codeplex.com/
玩得开心,
内森

回答

有一个命令行mysql-diff工具可以比较数据库模式,其中模式可以是实时数据库或者磁盘上的SQL脚本。它适合大多数架构迁移任务。

回答

如果我们仍在寻找解决方案:我们建议使用一种名为neXtep designer的工具。这是一个数据库开发环境,我们可以使用该环境将整个数据库置于版本控制之下。我们在版本控制的存储库上工作,可以跟踪每个更改。

当需要发布更新时,可以提交组件,产品将自动从先前版本生成SQL升级脚本。当然,我们可以从任何2个版本中生成此SQL。

然后,我们有很多选择:我们可以将这些脚本与应用程序代码一起放入SVN中,以便通过现有机制进行部署。另一个选择是使用neXtep的传递机制:脚本以"传递包"(SQL脚本+ XML描述符)的形式导出,安装程序可以理解该包并将其部署到目标服务器,同时确保结构一致性,依赖性检查,注册已安装的版本等。

该产品是GPL,基于Eclipse,因此可以在Linux,Mac和Windows上运行。目前它还支持Oracle,Mysql和Postgresql(正在提供DB2支持)。查看Wiki,我们将在其中找到更多详细信息:
http://www.nextep-softwares.com/wiki