流体运动估计光流算法研究综述

E-mail:

***********.cn

Website:

Tel:

************

中国图象图形学报

JOURNAL

OF

IMAGE

AND

GRAPHICS

355

©

中国图象图形学报版权所有

中图法分类号:

TP391

文献标识码

：

A

文章编号

：

1006-8961(2021)02-0355-13

论文引用格式

：

Shao

X

Q

,

Yang

Y

and

Liu

Y

L.

2021

.

Review

of

optical

flow

algorithms

in

fluid

motion

estimation.

Journal

of

Image

and

Graphics

,

26(02):0355-0367(

邵绪强

，

杨艳

，

刘艺林

.2021.

流体运动估计光流算法研究综述.中国图象图形学报

,26(02)

：

0355-

0367

)

[

DOI

：

10.

11834/

jig.

200050]

流体运动估计光流算法研究综述

邵绪强

，

杨艳

，

刘艺林

华北电力大学控制与计算机工程学院

，

保定

071003

摘要

：

对流体图像序列进行运动分析一直是流体力学

、医学和计算机视觉等领域的重要研究课题。

从图像对

中提取的密集精确的速度矢量场能够为许多领域提供有价值的信息

，

基于光流法的流体运动估计技术因其独特的

优势成为一个有前途的方向

。

光流法可以获得具有较高分辨率的密集速度矢量场

，

在小尺度精细结构的测量上有

所改进

，弥补了基于相关分析法的粒子图像测速技术的不足

。

此外,光流方法还可以方便的引入各种物理约束

，

获

得较为符合流体运动特性的运动估计结果

。

为了全面反映基于光流法的流体运动估计算法的研究进展

，

本文在广

泛调研相关文献的基础上

，

对国内外具有代表性的论文进行了系统阐述

。

首先介绍了光流法的基本原理

，

然后将

现有算法按照要解决的突出问题进行分类:结合流体力学知识的能量最小化函数

，

提高对光照变化的鲁棒性

,

大位

移估计和消除异常值

。

对每类方法

，

从问题解决过程的角度予以介绍

，

分析了各类突出问题中现有算法的特点和

局限性

。

最后

，

总结分析了流体运动估计技术当前面临的问题和挑战

，

并对未来基于光流法的运动估计算法的研

究方向和研究重点进行了展望

。

关键词:流体运动估计

;

光流法

;

流体力学;光照变化;大位移估计

;

异常值检测

Review

of

optical

flow

algorithms

in

fluid

motion

estimation

Shao

Xuqiang,

Yang

Yan

,

Liu

Yilin

School

of

Control

and

Computer

Engineering

,

North

China

Electric

Power

University

,

Baoding

071003

,

China

Abstract

:

The

motion

analysis

of

fluid

image

sequences

has

been

an

important

research

topic

in

the

fields

of

fluid

mechan­

ics

,

medicine,

and

computer

vision.

The

dense

and

accurate

velocity

vector

field

extracted

from

image

pairs

can

provide

valuable

information

for

these

fields.

For

example

,

in

the

field

of

fluid

mechanics

,

the

velocity

vector

field

can

be

used

to

calculate

the

divergence

and

curl

fields

of

fluid

；

in

the

field

of

meteorology

,

the

analysis

of

the

velocity

vector

field

can

be

used

to

provide

weather

forecast

；

in

the

field

of

medicine

,

the

velocity

vector

field

is

applied

to

match

medical

images.

In

recent

years

,

fluid

motion

estimation

technology

based

on

an

optical

flow

method

has

become

a

promising

direction

in

this

subject

due

to

its

unique

advantages.

Compared

with

particle

image

velocimetry

based

on

a

correlation

method

,

an

optical

flow

method

can

obtain

a

denser

velocity

field

and

can

estimate

the

motion

of

a

scalar

image

and

not

just

a

particle

image.

In

addition,

an

optical

flow

method

can

easily

introduce

various

physical

constraints

in

accordance

with

the

motion

charac

­

teristics

of

the

fluid

and

obtain

more

accurate

motion

estimation

results.

In

accordance

with

the

basic

principles

of

an

optical

flow

method

,

this

paper

reviews

a

fluid

motion

estimation

algorithm

based

on

an

optical

flow

method.

Referring

to

a

large

number

of

domestic

and

foreign

studies

,

existing

algorithms

are

classified

in

accordance

with

outstanding

problems

to

be

收稿日期

:2020-02-18

；

修回日期

:2020-05-

15

；

预印本日期

：

2020-05-22

基金项目

：

国家自然科学基金项目

(

61502168

)

;北京市自然科学基金项目

(4182018

)

Supported

by:

National

Natural

Science

Foundation

of

China

(61502168 )

；

Beijing

Municipal

Natural

Science

Foundation

(4182018

)

356

中国图象图形学报

JOURNAL

OF

IMAGE

AND

GRAPHICS

Vol.

26

,

No.

2

,

Feb.

2021

solved

:

combining

the

energy

minimization

function

with

the

knowledge

of

fluid

mechanics

,

improving

robustness

to

illumi

­

nation

changes

,

estimating

large

displacements

,

and

eliminating

outliers.

Combining

the

minimization

function

with

the

knowledge

of

fluid

mechanics

introduces

various

physical

constraints

for

improving

the

energy

minimization

function

,

provi

­

ding

physically

meaningful

data

items

and

regularization

terms

,

and

improving

the

accuracy

of

fluid

motion

estimation

results.

Algorithms

for

improving

robustness

to

illumination

changes

can

be

classified

into

four

types

:

using

a

high-order

constancy

assumption

to

expand

data

items

that

depend

on

the

constant

brightness

assumption

,

extracting

illumination-invariant

fea

­

tures

in

the

image

for

data

items

,

using

structure-texture

decomposition

methods

,

and

establishing

a

mathematical

model

for

light

changes.

Various

methods

are

applicable

to

different

light

change

conditions.

For

the

large

displacement

estimation

problem

,

the

pyramid-based

multi-resolution

optical

flow

method

is

first

used

；

however,

this

method

cannot

estimate

the

large

displacement

of

fine

structures.

To

solve

this

problem

,

a

hybrid

motion

estimation

method

that

combines

the

cross-cor

­

relation

method

with

a

wavelet-based

optical

flow

method

is

proposed

in

recent

research.

This

hybrid

method

uses

the

cross

­

correlation

method

to

calculate

the

large

displacement

of

a

fine

structure

and

then

uses

an

optical

flow

method

to

refine

and

redetermine

the

flow

field

,

combining

the

advantages

of

the

two

methods.

The

optical

flow

estimation

method

based

on

wavelet

transform

provides

a

good

mathematical

framework

for

the

multi-resolution

estimation

algorithm

and

avoids

the

linear

problem

that exists

in

the

"

coarse-to-fine"

multi-resolution

framework

when

estimating

large

displacements.

Methods

for

eliminating

outliers

can

be

divided

into

three

basic

categories

:

methods

that

use

a

robust

penalty

function

,

median

filtering,

and

forward-backward

optical

flow

consistency

check.

In

this

paper

,

each

kind

of

method

is

introduced

from

the

perspective

of

the

problem

solving

process

,

and

the

characteristics

and

limitations

of

existing

algorithms

are

analyzed

in

various

out

­

standing

problems.

Finally

,

the

major

research

problems

are

summarized

and

discussed

,

and

several

possible

research

directions

for

the

future

are

proposed.

First

,

an

optical

flow

method

introduces

various

physical

constraints

into

the

objective

function

to

conform

to

fluid

motion

characteristics.

Hence

,

although

accurate

estimation

results

can

be

obtained

,

the

resul

­

ting

optical

flow

equation

is

too

complex

to

solve,

and

no

good

numerical

solution

is

obtained.

Second

,

several

methods

based

on

an

optical

flow

method

exhibit

different

advantages

under

varying

light

change

conditions

；

they

also

have

coiTe-

sponding

shortcomings.

Therefore

,

further

research

on

how

to

combine

the

advantages

of

various

methods

to

cope

with

dif

­

ferent

light

changing

conditions

is

particularly

important.

Third

,

although

the

hybrid

method

that

combines

the

cross-corre

­

lation

and

optical

flow

methods

can

utilize

the

advantages

of

the

two

methods

to

obtain

high-resolution

motion

results

for

the

large

displacement

problem

,

this

method

can

only

be

successfully

applied

to

the

motion

estimation

of

particle

images

at

present.

Thus

,

exploring

this

method

for

other

types

of

fluid

motion

images

is

worthwhile.

Finally

,

an

optical

flow

method

requires

complex

variational

optimization

and

its

computational

efficiency

is

low.

Although

some

graphics

processing

unit

(

GPU)

parallel

algorithms

proposed

in

recent

years

have

effectively

improved

computational

efficiency

,

they

still

cannot

achieve

real-time

estimation.

Therefore,

improving

the

computational

efficiency

of

fluid

motion

estimation

algorithms

and

realizing

real-time

estimation

are

among

the

directions

that

are

worth

studying

in

the

future.

Key

words

:

fluid

motion

estimation

；

optical

flow

method

；

fluid

mechanics

;

illumination

change

；

large

displacement

esti

­

mation

；

outlier

detection

性

，

通过搜索图像对的两个查询窗口之间互相关的

0

引言

最大值

，

获得查询窗口之间的位移矢量

。

这种依赖

于互相关函数的

PIV

技术虽然能够简单有效地从图

流体运动估计技术在日常生活的众多领域发挥

像序列间获取速度矢量场,但仍存在许多不足

。

首

着重要作用

，

对从流体图像序列中提取的速度场进

先

，

其假设查询窗口内的位移矢量保持一致

，

这使得

行分析

，

有助于更深入地了解复杂的流体运动并提

获取的速度场空间分辨率低

，

无法测量流场中的小

取有用的信息

。

尺度精细结构

。

其次,

PIV

技术主要用于粒子图像,

粒子图像测速

(

particle

image

velocimetry

,

PIV

)

无法可靠获取标量图像的速度矢量场

。

最后

，

PIV

(Adrian,

1991)

是一种广泛使用的流体运动估计技

技术缺乏物理解释

,

对图像序列进行运动估计时

，

平

术

。

其基于两个连续粒子图像之间局部空间相关

等地对待各种性质的运动物体

。

357

第

26

卷

/

第

2

期

/2021

年

2

月

邵绪强

，

杨艳

，

刘艺林

/

流体运动估计光流算法研究综述

研究发现光流法非常适合流体运动估计

(

Liu

得经典变分光流法的能量最小化函数

E(u,v)

，

具

体为

等

,2015)

。

与基于互相关的

PIV

技术相比

，

光流法

可以获取更加密集的速度场

，

而且可以对标量图像

进行运动估计而不仅限于粒子图像

。

此外

，

与

PIV

技术相比

，

光流法更能适应各种物理约束

。

基于光

Eg

=

『

[(聲

+

聲

+

也

『

+

JJn

[dx

dy

dtl

A(

|

Vu

|

2

+

|

Vr

|

2

)

dxdy

(

5

)

流法的流体运动技术是对

PIV

技术的良好补充

。

虽然现有的基于光流法的流体运动估计技术已

式中

，

入是参数

，

用于调节平滑项所占的比重

。

经广泛用于各种流体测速场景,但仍存在计算耗时

、

鲁棒性不足等问题

。

本文从光流法的基本原理入

手

，

根据光流法需要解决的几个关键问题对现有的

算法进行分类

，

并对每一类方法从问题解决的角度

予以介绍

。

1

光流法的基本原理

光流本质上是

3

维场景的物体运动投影到

2

维

图

1

“

孔径

”

问题示意图

(

Heitz

等

,2010)

图像平面表现的像素点亮度变化

。

光流计算即从图

像数据中估计物体的运动

。

Hom

和

Schunck(

1981

)

Fig.

1

Schematic

illustration

of

the

aperture

problem

(

Heitz

et

al.

,

2010)

开创性地提出了经典的变分光流估计模型

，

该模型

的目标函数是包含一个数据项和一个平滑项的能量

光流法最初是在计算机视觉领域提出的

，

主要

用于从图像序列中估计明显的刚性运动

，

由于其能

函数的最小化

。

数据项主要基于亮度守恒假设

，

即

同一个像素点的亮度(灰度值)在相邻两帧图像内

够从图像对中获取密集的速度矢量场

，

成为实验流

体力学

、

医学和气象学等领域的研究热点

，

广泛用于

各种流体运动场景

。

保持不变

，

即

I(x

+

dx,y

+

dy,t

+

dt)

=

Z(x,y,t)

(

1

)

式中

，

表示

t

时刻坐标为

(％

,y)

的像素点

的亮度(灰度值)

。

对式

(

1)

左边进行泰勒展开并整

2

基于光流法的流体运动估计技术

自经典光流模型提出以来

，

不断进行研究和改

理可得

—

dx

+

—

dy

+

—

dt

=

0

dx

dy

dt

(2)

进

，

以提升算法的精度

、

鲁棒性和时空分辨率等性

能

，

更好地对流体图像序列进行运动估计

。

本文按

假设坐标为

(％

,y)

处的像素点的速度为

w&,

y)

=

(

u,

”

)T

。

将速度的定义公式

U

=

兽

和

"

Q

守

，

照光流法需要解决的几个关键问题

，

将现有算法分

为结合流体力学知识的能量最小化函数

、

提高对光

照变化的鲁棒性

、

大位移估计和消除异常值等

4

类

代入式

(2),

可得

理

u+

益

+

也

=0

dx

dy

dt

(3)

方法

。

2.1

结合流体力学知识的能量最小化函数

单独使用式

(3)

估算速度的两个未知分量

，

即

u

和

。

，

不能获得唯一解

，

这称为光流计算的孔径问题

(

aperture

problem

)

，

如图

1(

Heitz

等

,

2010

)

所示

。

Wildes

等人

(

2000

)

和

Corpetti

等人

(

2002

)

尝试

将经典光流模型应用于云运动估计

，

但是结果表明

该模型不能准确地估计云的运动

。

经典的光流模型

为解决该问题

，

通常采用附加的平滑项仗唧

，

执行流场的空间平滑度一致性,具体为

主要适用于估计各种自然场景中的刚性运动

，

其依

赖的亮度约束方程不是通过任何物理原理推导而

E

repl

(u,v)

=

£(

+

|Vr|

2

)^dy

(4)

来,缺乏物理解释

，

难以捕获具有复杂运动模式的流

体运动

。

为了克服该模型对流体图像序列的局限

式中

，

V

表示梯度算子

。

结合式

(

3)

和式

(4)

可以获

性

，

对其进行了改进和扩展

。

中国图象图形学报

JOURNAL

OF

IMAGE

AND

GRAPHICS

通过引入基于质量和动量守恒定理推导的连续

性方程

，

设计了一种专用于捕获流体运动的光流模

型

(

Corpetti

等

,2000,2002,2003,2006)

，

采用连续性

方程作为数据项

，

并利用二阶散度一旋度

(

div-curl

)

正则化替换经典模型中的一阶正则化

。

基于物理的

流动连续性方程能够将图像数据与流体流动行为联

系起来

。

一阶正则化用作平滑项会因过度平滑而导

致估计的矢量场具有低散度和旋度

，

而二阶

div-curl

正则化能够有效恢复流体运动的散度和旋度结构

，

更适用于复杂的流体运动估计

。

但是由于涉及高阶

微分

，

该算法实现起来比较困难

，

而且较高的阶数还

会导致计算成本增加

。

为解决该问题

，

在正则化项

中添加了两个辅助变量

$

和

G

作为真实散度和旋

度的近似值

，

以减少模型的高阶行为

。

Liu

和

Shen

(2008)

根据

3

维物体空间中的传输方程或连续性

方程在

2

维图像平面上的投影

，

推导出针对各种流

体可视化的投影运动方程

。

并将此投影运动方程作

为光流约束,进一步给出了基于物理的光流方程

，

正

式建立了光流与流体流动之间的数学联系

。

需要指

出

，

Corpetti

等人

(2002)

使用的

div-curl

正则化不是

基于流体力学原理推导出来的

；

Liu

等人

(2008)

采

用投影到

2

维图像平面上的

navier-stokes

方程为光

流计算提供了基于物理的约束,得到的非线性约束非

常复杂

。

Yang

和

Johnson

(2017)

利用

Liu

等人

(2008)

得到的基于物理的光流方程

，

提出一种散度补偿光流

法,并成功应用于

X

射线图像的流场估计

。

上述方法求解的速度场都是基于像素尺度的

，

对于刚体和简单流体运动而言

，

在该尺度下求解造

成的信息缺失可以忽略不计

。

但是对于复杂的流体

运动如湍流

，

其中存在的亚像素小尺度涡结构无法

在像素点上得以体现

。

Cassisa

等人

(

2011

)

和

Zille

等人

(2014)

引入大涡模拟的相关概念

，

提出一种亚

网格传输方程模型

(

sub-grid

transport

equation

)

，

在

亚像素尺度上考虑了湍流的小尺度速度分量

，

相

比之前的光流模型

，

能够精确估计复杂的湍流运

动

，

但是亚网格传输方程涉及的湍流扩散系数是

根据经验选取的

。

Chen

等人

(2015)

在此基础上

，

应用物理空间亚网格模型系统地计算嵌入光流约

束方程中的小尺度扩散项

，

得到了改善的估计

结果

。

从以上研究可知,将湍流模型与变分光流模型

结合起来估计复杂的湍流运动是很有前景的研究方

Vol.

26.

No.

2,

Feb.

2021

向

，

但是这些方法都高度依赖一个用于在数据模型

中对选取的湍流模型进行加权的正则化参数

，

该参

数没有直接的物理解释且在实际应用中很难确定

。

Cai

等人

(2018)

为采用不同策略的湍流运动估计,

推导了一种新颖的基于位置不确定性的光流方程

。

首先根据

Memin(2014)

的推导

，

将流体运动的欧拉

速度分解为一个大尺度分量和一个称为位置不确定

性的小尺度湍流分量

。

然后结合雷诺兹运输定理的

随机表达式得出随机光流约束方程

，

该方程包含了

小尺度分量的影响

，

涉及的参数都可以进行明确的

估计而无需进行烦琐的调参

。

对流体速度场进行分解有助于理解复杂的流体

运动

。

Kohlberger

等人

(2003)

基于亥姆霍兹分解定

理提供了一种对图像序列中的非刚性结构进行稠密

运动估计的方法

，

将速度场分为一个无散度分量和

一个无旋度分量之和

，

使用速度势和流函数对这两

个分量进行明确表示

,

并将该表示应用于亮度恒定

约束方程

(

brightness

constancy

constraint

equation

,

BCCE)

和二阶正则化项

。

该方法可以直接估计速

度势和流函数

，

利用这两个函数可以获得速度场的

更多信息

。

首先

，

计算它们的梯度

,

得到无散度分量

和无旋度分量

。

其次

，

对它们进行拉普拉斯运算

，

获

得速度场的涡度和散度

。

最后

，

它们的极值提供了

感兴趣的奇异点的位置,例如源

、

汇和漩涡

。

利用

Kohlberger

等人

(

2003

)

提出的方法估计密

集运动矢量

，

其解属于高维空间

，

但在跟踪等应用中

需要提供低维解。

为了获得低维解.提出了一种基

于矢量场的亥姆霍兹分解的低维流体运动估计方法

(

Cuzol

和

Memin

,

2005

；

Cuzol

等

,

2007

)

o

在该方法

中

，

无散度分量和无旋度分量采用离散化的涡度和

散度图通过正则化狄拉克测度进行近似

，

同时采用

引入连续性方程的数据项和二阶

div-curl

正则化的

平滑项

。

该方法在考虑较少数量的粒子时,可以实

现更高的精度和更快的计算

。

但是,如果大量增加

速度向量的低维表示的粒子数量

，

将导致比其他密

集运动估计方法更高的计算成本

。

考虑流场的时间相关性

，

有助于将准确帧的信

息传播到后续帧

。

Ruhnau

等人

(2007)

提出一种基

于涡度传输方程的流体运动估计方法

，

使用前一帧

的传输涡度场作为当前帧的约束

，

并考虑了流场间

的时间相关性

。

但信息只能沿一个方向传输

,

在某

些情况下

，

当前一帧估计不准确时可能导致后续帧

358

359

第26

卷

/

第

2

期

/2021

年

2

月

邵绪强

，

杨艳

，刘艺林

/

流体运动估计光流算法研究综述

的估计结果更差

。

为了解决该问题

，

Zuo

和

Qi

(2017)

提出一种新颖的时空光学流模型

，

同时估计

为多个连续的速度场

。

随后

，

根据速度在每个分割

区域中连续变化并且在区域边界处保留速度场的不

连续结构的假设建立平滑约束条件

。

该方法使用的

流体序列所有帧的速度场

。

使用该模型可以将准确

性估计从具有高对应性的帧传播到相邻帧

。

数据项是基于分割区域的

，

并且由基于物理的光流

大多数光流法采用全局光流公式估计流场

，

这

种使用全局能量函数约束的方法在流体速度场的不

方程所推导

。

经典的光流方法不能很好地适应具有复杂流动

的流体图像

，

因此使用考虑流体流动特性的物理约

束对光流方法的目标函数进行改善

，

主要是对数据

连续边缘上也会进行平滑操作

，

从而无法保留非均

匀流场的空间不连续性

。

Lu

等人

(

2019)

提出一种

基于场分割的变分光流方法

(

field-segmentation-

based

variational

optical

flow,

FS-VOF

),

用于保留非

项和正则化项进行改进

，

以提高流体运动估计的精

度

。

针对流体运动估计的光流模型如表

1

所示

，

表

均匀流场的空间不连续特性

。

该方法根据流体的速

中

D,

表示湍流扩散系数

，

»

表示速度势函数

，

屮

表

示流函数

，妁、

监

、

y

是比例系数

。

度分布对粒子图像进行分割

，

将不连续的流场划分

表

1

针对流体运动估计的光流模型

Table

1

Optical

flow

model

for

fluid

motion

estimation

文献

原理

光流约束方程

数学模型

Horn

和

Schunck

(

1981

)

Corpetti

等人

(2000)

Chen

等人

(2015)

数据项

数据项

数据项

数据项

聲

+

也

+

也

=0

dx

dy

dt

连续性方程

对流-扩散方程

0

E(x

+

(

1(

x)

+

Az)exp(Jw

(

](x)

)

-

E(x,t)

皿号

+W.w+7(

一小)

『

Liu

和

Shen

(2008)

Horn

和

Schunck

(

1981

)

亥姆霍兹分解定理

£[/(^

+

V

(

/

)

(x,z)

+网丄

(xj)

+

Az)

-

/(x,o

]

2

clx

速度梯度约束

正则化项

£|Vup

+

1

时

正则化项

J

|

Vr/w

w

$

+

|

curl

w

|

2

Corpetti

等人

(2002)

Corpetti

等人

(2000)

Corpetti

等人

(2003)

Liu

和

Shen

(2008)

二阶

div-curl

约束

二阶

div-curl

约束

二阶

div-curl

约束

二阶

div-curl

约束

正则化项

正则化项

w

-g|2

+

人也

(

|Vf

|)

+

£

1

curl

w

-^

2

+

人也

(

IV^I)

div

w

-

|

2

+

A

||Vf

II

2

+

}

curl

w

-

2

+

A

||%

『

)

2

+

(cur/V^

1

-

)

2

)

+

A(

||V&

『

+

||Vg

『

)

dx

正则化项

£?(

(為％

-

正则化项

£||V>v(x,/)||

2dx

Zille

等人

(2014)

不可压缩条件

注:为时间采样率,和

curl

为求散度和旋度

。

2.2

提高对光照变化的鲁棒性

情况下可以提高流体运动估计的精度

，

但是在光照

经典的变分光流模型主要依据亮度恒定假设,

但是这种亮度恒定约束太过于理想化而无法满足实

变化剧烈的情况下无法进行准确的运动估计

。

计算机视觉领域在经典变分光流法的基础上也

进行了诸多改进

，

以期提高对光照变化的鲁棒性

，

这

些改进大致分为

4

类

。

际情况

。

传统的

HS(Horn

Schunck

)

光流法对光照

变化十分敏感

，

光流的鲁棒性很差

。

为了提高对光照变化的鲁棒性,提出了大量基

于连续性方程的流体运动估计算法

(

Uras

等

,1988

；

Zhou

等

,2000

；

Nakajima

等

,2003

；

Arnaud

等

,2006)

,

第

1

类方法是使用高阶恒定性假设扩展依赖亮

度恒定假设的数据项

。

Brox

等人

(

2004)

使用梯度

守恒假设对亮度恒定假设进行扩展

,

Papenberg

等人

(2006)

在此基础上引入

Hessian

恒定假设和

Lapla-

将连续性方程应用于光流模型

，

在亮度变化不大的

中国图象图形学报

JOURNAL

OF

IMAGE

AND

GRAPHICS

cian

恒定假设

。

这种方法仅在两帧图像之间光照变

化不大时才可以有效提高对光照变化的鲁棒性

。

此

外梯度守恒假设和

Hessian

恒定假设具有方向信

息

，

因为对象旋转时可能导致方向改变

，

因此该方法

仅在估计平移运动和发散运动时具有积极影响

，

而

不适用于旋转运动

。

图像序列中任意像素点的空间

梯度可以分解为其范数和方向两部分

。

当方向信息

旋转改变时

，

梯度的范数保持不变

。

Papenberg

等人

(2006)

提出将梯度范数作为另一恒定性假设

。

但

这些假设同样不适用光照变化较大的情况

，

而且对

噪声十分敏感

。

Zhong

等人

(2017)

利用基于梯度不

变假设的数据项及一个一阶散度和涡度构成的平滑

项提出一种新的

2

维光流算法

，

不仅可以在光照变

化情况下获得较为精确的估计结果

，

而且在保持运

动场的小散度和涡度结构以及减少异常值方面也更

具有优势

。

第

2

类方法是提取图像中的光照不变特征用于

数据项中

。

Zabih

和

Woodfill

(1994)

提出了两种非

局部参数变换:

rank

变换和

census

变换

。

它们描述

了一个签名向量

s

,

该签名向量

s

对局部图像块内

中心参考像素与其周围像素的灰度值关系进行编

码

。

census

变换对参考像素与邻域像素间的灰度值

大小进行比较

，

如果小于邻域像素的灰度值则标记

为

0,

反之为

1,

然后将其连接成一串二进制字符串

。

Muller

等人

(

2011

)

将

census

变换应用于变分光流

计算方案

，

并提出了一种新的光流估计方法

，

利用两

个

census

变换签名间的汉明距离取代亮度守恒约

束形成新的数据项

。

因为

census

变换反映的是中

心像素与周围像素之间灰度的相对大小关系

，因此

在单调变化的光照条件下具有不变性

。

但是,

cen

­

sus

变换对光照变化的不变性在精度上有所妥协

，

光

流估计的结果不如其他方法精确

，

并且存在很多缺

点

，

例如对非单调光照变化和噪声十分敏感

，

丢失了

来自邻域的大部分信息

，

对局部图像块信息描述不

完整

，

无法区分附近的暗区和亮区以及

census

变换

的不变性只是针对平移运动

，

而对旋转或缩放变换

则不具有不变性等

。

针对以上问题

，

Ranftl

等人

(2014)

通过对具有不同半径的径向模板进行采样,

提出了一种尺度不变的

census

描述符

，

实现了在缩

放变换下的不变性

。

该方法通过使用径向采样而不

是基于窗口的采样策略

，

定义了普查变换的一种新

变体

，

可以实现多尺度重采样,从而实现在缩放变换

Vol.

26.

No.

2.

Feb.

2021

时的不变性

。

rank

变换在单调变化的光照条件下

也具有光照不变性

，

它的签名向量记录了灰度值小

于中心参考像素的邻域像素的个数

。

Yuan

等人

(2014)

将

rank

变换嵌入到基于

TV-L1

(

total

varia

­

tional

with

LI

norm,TV-Ll)

模型的数据项中

，

提出了

一种新的对单调变化的光照具有鲁棒性的光流估计

算法

。

但是与

census

变换一样,

rank

变换也不可避

免地丢弃了大量的局部图像信息

。

为了在保持不变

性的同时尽可能多地保留局部图像信息

，

Demetz

等

人

(

2013)

提出了一种新的

rank

变换一

CRT

(com

­

plete

rank

transform

)

o

CRT

结合编码完整强度顺序

的思想对

rank

变换进行扩展

，

它对全部像素的秩进

行编码而不再是仅对参考像素的秩进行编码

。

cen

­

sus

变换对不同的局部图像块可能生成相同的签名

向量

，

无法处理中心像素饱和的图像块

,

Rashwan

等

人

(2013)

提出了一种对光照变化具有高度不变性

的局部纹理描述子方向梯度直方图

(

histogram

of

oriented

gradients

,

HOG

)

o

HOG

可以通过产生不同

的描述符来检测强度区域的变化

。

而且,

HOG

编码

可以在一定程度上抑制平移和旋转带来的影响

。

不

过因为生成

HOG

描述符时依然依赖局部梯度的大

小

，

因此对噪声十分敏感

。

Mohamed

等人

(

2014)

通

过修改使用二进制特征描述符

(8

位描述符)作为匹

配成本的局部定向模式

(

Jabid

等

,2010),

提岀了一

种对光照变化更加鲁棒的方法

,

仅对邻域中的方向

信息进行编码

，

而不是强度值

，

比其他使用强度值的

描述符对光照和噪声更鲁棒

，

但是需要非常高的计

算时间

。

Ali

等人

(2016)

提出一种使用邻域描述符

(

normalized

neighborhood

descriptors

,

NND

)

作为匹配

成本的方法

。

邻域描述符基于每个像素相对于其相

邻像素的自相似性度量

，

这种成本使得关于一个像

素的大部分信息得以保留

。

该方法相对

Mohamed

等人

(

2014

)

提出的

MLDP(

modified

local

directional

pattern)

方法

，

计算时间大幅减少

，

但精度较低

，

其主

要贡献在于实现了对鲁棒性

、

准确性和计算速度的

折衷

。

Xu

等人

(2017)

介绍了一种称为亮度分布矩

阵

(

brightness

distribution

matrix

,

BDM

)

的新型数据

结构

，

对剧烈变化的光照具有鲁棒性

。

此外

，

由于基

于

BDM

的运动估计方法在处理复杂的流体情况时

需要进行大量计算

，

因此为了减少整体运动估计的

时间

，

又基于图形处理单元

(

graphics

processing

unit,GPU)

开发了该方法的并行版本

。

360

第

26

卷

/

第

2

期

/2021

年

2

月

第

3

类方法是采用结构一纹理分解方法进行预

处理

，

将图像分解为与图像中主要大对象对应的结

构部分和包含精细比例细节的纹理部分

，

然后使用

纹理部分代替原始灰度图像进行后续光流计算

。

这

种方法期望光照变化导致的阴影和亮度变化等影响

主要表现在结构部分

，

而纹理部分则几乎不会受到

影响

。

Wedel

等人

(2009)

和

Li

等人

(2012)

提出了

—

种基于全变分正则化

(

Rudin-Osher-Fatemi

,

ROF

)

模型的结构一纹理分解方法对图像进行分解

，

使计

算精度显著提高

，

但是只适用于光照变化不大的情

况,而且计算成本很高

。

袁建英等人

(2015)

考虑到

使用纹理信息进行光流计算在非单调且变化不大的

光照下能够提高光流估计精度

，

以及在单调且剧烈

变化的光照条件下

census

变换仍然具有恒定特性

，

提出了一种能适应不同光照变化的结合结构纹理分

解和

census

变换的光流估计方法

，

利用纹理信息和

census

变换构建新的数据项

，

并根据光照变化情况

自适应调整两者之间的权重

，

实现在不同光照条件

下自适应选择合适的数据项

。

第

4

类方法是建立光照变化的数学模型

。

Gen-

nert

和

Negahdaripour(

1987

)

及

Mattavelli

和

Nicoulin

(

1994)

引入了一种线性化光照模型

，

将光照导致的

亮度变化表示为乘法因素和加法因素的共同影响

，

引入了

和

C(x,y,«)

这两个根据时空变

化的函数作为参数

，

得到一个考虑亮度变化的通用

模型,具体为

/(%

+

dx,y

+

dy,t

+

di)

=

+

C(x,y,«)

(6)

该模型假设在时刻

t

+

dt

图像的亮度可以由时

刻

t

图像的亮度和一系列的参数线性化表示

。这种

线性化光照模型相比亮度恒定约束要更松弛

，

允许

不太精确的匹配

，

提高了计算结果的精度

，

但是这种

方法在运动不连续的情况下没有效果

。

Kim

等人

(2005)

在此基础上考虑了更多与光照有关的因素

，

将两个连续图像中的像素亮度通过运动参数

u

和

”

以及参数和

C(x,y,«)

联系起来

。

该方

法在运动不连续和光照变化时都可以获得良好的估

计

,

但是计算结果的精度与参数的选择有关

,

而且由

于公式中包含过多的参数

，

使得优化过程变得十分

复杂

。

2.3

大位移估计

光流法使用的变分公式仅限于小位移估计而无

361

邵绪强

，

杨艳

，

刘艺林

/

流体运动估计光流算法研究综述

法捕捉大的运动

，

为了克服这个问题

，

很多研究者采

用多分辨率金字塔方案来处理大位移

，

从而提高运

动估计的精度并降低计算的复杂度

(

Memin

和

Perez,

1998

；

Zhou

等

,2000

；

Heitz

等

，

2010)

。

如图

2

(

Heitz

等

,2010)

所示,该方案主要通过一系列不同

尺度的图像序列来找到运动矢量

。

将当前模型获得

的估计值线性化

，

并嵌入到通过对原图像序列进行

连续低通滤波和子采样获得的多分辨率金字塔图像

结构中

，

然后沿着多分辨率结构

“

由粗到细

(coarse-

to-fine)"

逐步进行估计

，

该方案期望在每个细化级

别上的残余运动场都满足小运动假设

。

图

2

多分辨率金字塔结构

(

Heitz

等

,2010)

Fig.

2

Multi-resolution

pyramid

structure

(

Heitz

et

al.

,2010

)

虽然多分辨率方案可以解决变分光流算法无法

处理的大位移问题,但是存在许多问题

。

简单的金

字塔方法是将低分辨率图像下求得的运动矢量进行

大小调整后作为较高一级分辨率图像的初始运动矢

量

，

然后在该较高一级分辨率图像上进一步更新计

算结果

。

在这种情况下

，

如果在低分辨率图像上估

计运动矢量时出现错误

，

将向下传播到较高分辨率

水平而无法纠正

。

此外

，

在金字塔的每一层

，

所有像

素的运动矢量都会进行更新

，

这可能导致在给定空

间尺度上获取的最佳速度估计在更精细的尺度上被

破坏

。

为了解决此问题

,

Battiti

等人

(1991)

提出了

一种自适应多尺度方法

。

该方法是基于

“

由粗到

细

”

的多分辨率方法的一个拓展方案

，

其引入了一

个抑制标志来实现局部自适应离散化

。

在金字塔的

每一层

，

对求得的运动矢量进行误差计算以确定每

个像素点的运动矢量的可靠性

。

如果误差低于规定

的阈值

，

则在相应像素点处设置抑制标志表示该像

素点的运动矢量已经足够精确

。

然后对该层获取的

运动矢量进行插值作为下一层的初始运动矢量

，

设

置抑制标志的像素点

，

在金字塔更高一级分辨率对

中国图象图形学报

JOURNAL

OF

IMAGE

AND

GRAPHICS

应的像素点及其

4

个邻域点被禁止,它们不参与该

层的迭代更新而是保持初始运动矢量不变

，

这可以

防止可靠的运动估计被破坏

。

与简单的金字塔方法

相比

，

该方法可以提供更好的光流估计并且几乎不

增加计算成本

。

除上述问题外

，

多分辨率方案还存在其他问题。

由于位移的主要成分是在对原始图像进行多次低通

滤波和子采样后对应的粗分辨率水平上计算的

，

因

此无法估计精细结构的位移

。

多次子采样会导致一

些薄结构和细小结构的丢失

，

如果这些精细结构的

运动与它们附近区域的运动具有显著的不同

，

则运

动估计算法很难正确获取这些结构的运动

。

例如在

气象图像中

，像卷云这样的中尺度结构可能会显示

出与低海拔大气层运动完全不同的大位移运动

。或

者在粒子图像中

，

由于图像的连续下采样

，

大速度的

小粒子被平滑

，

从而导致信息丢失和错误的速度

测量

。

基于相关方法的

PIV

图像测速方法在估计大位

移时具有鲁棒性

，

为了解决上述问题

，

H6as

等人

(2007)

和

Heitz

等人

(2008)

分别针对气象图像和粒

子图像提出了一种将相关方法与光流模型相结合的

方法

。

该方法的主要思想是使用一组基于相关方法

获取的密集大尺度位移估计代替多分辨率方案的粗

糙速度估计

，

其在能量最小化函数中增加了一个新

的数据约束

，

使估计的位移接近基于相关方法获取

的矢量场

。

Seong

等人

(2019)

提出一种新的将相关

方法与光流法进行结合的混合方法

，

首先使用最先

进的互相关方法来考虑相对较大的粒子位移并插值

恢复到原始图像的分辨率

，

然后利用光流法细化获

得的流场

。

Yang

和

Johnson(2017)

、

Liu

等人

(

2020)

引入

Liu

和

Shen

(2008)

获得的基于物理的光流方

程

，

提出了类似的混合方法

。

这种互相关和光流法

的混合方法可以结合每种方法的优点

，

从而提供一

种处理大位移

PIV

图像以获得高分辨率速度场的稳

健工具

。

基于速度场小波展开的光流估计方法

(

Derian

等

,2011

,2013

；

Kadri-Harouna

等

,2013)

相对于多分

辨率方法也具有其独特的优势

。

该方法将速度场在

小波正交基上进行适当分解

，

利用各尺度上基函数

的线性组合表示速度场的两个运动分量

，

并且基于

小波提出了新的高阶多尺度正则化方法

。

这种基于

小波变换的光流估计方法为多分辨率估计算法提供

Vol.

26.

No.

2,

Feb.

2021

了一个很好的数学框架,避免了

“

由粗到细

”

的多分

辨率框架估计大位移时存在的线性问题

，

而且由于

其易于实现高阶正则化

，

从而提高了运动估计算法

的精度和性能

。

此外小波分解过程能够消除图像序

列中存在的一部分噪声

。

Schmidt

和

Sutton

(2019)

对这种方法进一步发展

，

提出了一种在速度和精度

上都有很大改进的基于小波变换的光流方法

，

采用

提升法和对称边界条件实现小波变换

，

并利用湍流

的固有特性

、

湍流能量谱和半自动启发式算法来优

化正则项的加权参数

，

该参数在以前的光流算法中

主要是根据经验确定的

。

在该方法的基础上

，

Schmidt

和

Sutton

(2020

)

又进行了优化

，

提出了一种

在物理上更为合理的正则化方案

,

提高了速度估计的

准确性

。该方法使用矩阵乘法替代小波变换方法

，

简

化了正则化方法

，

比传统卷积或提升方法更有效

。

2.4

消除异常值

运动不连续

、

遮挡和噪声等都会导致异常值的

产生

，

光流法的另一个关键问题就是处理异常值的

能力

。

Horn

和

Schunck

(

1981

)

依赖亮度恒定性和空

间平滑性约束提出的经典光流方程采用的是二次函

数的形式

,

而采用这种二次惩罚函数对由反射

、

遮挡

等引起的异常值不具有鲁棒性

。

不同的惩罚函数及

其关联的影响函数如图

3

(

Black

和

Anandan,1996)

所示

。

从图

3(a)

所示的二次函数及其关联的影响

函数

(

Hampe

1

等

,1986)

可以看出

，

采用二次惩罚函

数的光流方程会赋予异常值较高的权重

，

导致异常

值对整体解决方案的贡献

“

过多

”

。

为了提高鲁棒

性

，

减少异常值的影响

,

Black

和

Anandan

(

1996)

引

入了一个稳健的估计框架来处理异常值

，

提出了多

种基于鲁棒统计的非凸惩罚函数用于替代原本的二

次惩罚函数(图

3(b)

—

(d))

。

不同的惩罚函数具

有不同的优势

，

但共同特点是能够减少异常值的影

响

。

截断二次函数是计算机视觉中最常见的鲁棒惩

罚函数之一

，

从图

3(b)

可以看出

，

使用该函数时

，

误

差在固定的阈值内是二次加权的

，

而一旦超过这个

阈值,误差就会达到一个恒定值

。

通过检验该惩罚

函数的影响函数可以发现

，

在阈值之外异常值的影

响为零

。

而其他的惩罚函数

，

如

Geman-McClure

(图

3(c))

和

Lorentzian

惩罚函数(图

3(d)),

在阈

值之外

，

异常值的影响也趋近于零

。

虽然这些非凸惩罚函数可以有效减少异常值的

影响

，

并在

Roth

等人

(2009)

和

Sun

等人

(2008)

的

362

363

第

26

卷

/

第

2

期

/2021

年

2

月

邵绪强

，

杨艳

，

刘艺林

/

流体运动估计光流算法研究综述

(a)

一•次惩罚函数及其影响函数

(b)

截断二次惩罚函数及其影响函数

(c)

Geman-McClure

惩罚函数及其影响函数

(d)

Lorentzian

惩罚函数及其影响函数

图

3

不同的惩罚函数及其关联的影响函数

(

Hampel

等

，

1986

；

Black

和

Anandan

,

1996

)

Fig.

3

Different

penalty

functions

and

their

influence

functions

(

Hampel

et

al.

,

1986

；

Black

and

Anandan

,

1996

)

((

a)

quadratic

penalty

function

and

its

influence

function

;

(

b

)

truncated

quadratic

penalty

function

and

让

s

influence

function

；

(

c)

Geman-McClure

function

and

its

influence

function

;

(

d

)

Lorentzian

penalty

function

and

its

influence

function

)

方法中得到了良好的应用

，

但是其相应的非凸能量

进一步研究,发现当

a

=

0.45

时的轻微非凸惩罚函

函数都很难实现最小化

。

Bruhn

等人

(2005)

选择了

凸型的

Charbonnierc

惩罚函数

(

Charbonnier

等

，

1994)

来构造能量函数

。

Sun

等人

(2010)

对凸型

Charbonnierc

惩罚函数和非凸型

Lorentzian

函数进

数的性能要比

Charbonnier

惩罚函数

(

a

=

0.

5

)

更

好

，

而当

a

的取值导致函数更倾向于非凸惩罚函数

(如

a

=

0.25)

时则无改善

。

Sun

等人

(

2010)

发现在

“

由粗到细

”

的增量估

行测试

，

发现在测试集上使用凸型

Charbonnierc

惩

计过程中加入中值滤波步骤也能有效去除异常值的

罚函数的算法性能都优于使用鲁棒性较强的非凸型

Lorentzian

惩罚函数的算法

。

其中一个原因可能是

影响

。

但是

，

只是在较大邻域中进行中值滤波具有

优势

，

在以拐角或薄结构为中心的邻域

，

计算中间值

非凸函数的优化难度较大

，

导致优化方案局部最优

性较差

。

此外

Sun

等人

(2010)

还对广义的凸型

Charbonnierc

惩罚函数

(

p(x)

=

(x

2

+/)

“

，

其中％

会导致过度平滑

。

为了解决这个问题

，

Sun

等人

(2014)

提出了一种新的加权中值滤波模型

，

但在所

有像素上应用加权中值运算增加了计算成本

。

是函数变量，

£

是趋近于零的任意正实数)进行了

诸多方法

(

Chen

和

Koltun,2016

；

Gadot

和

Wolf,

中国图象图形学报

JOURNAL

OF

IMAGE

AND

GRAPHICS

2016

；

Menze

等

,2015

；

Bailer

等

,2015

；

Palomares

等,

2017)

执行前向一后向一致性检查去除异常值

。

对

输入的两帧图像分别求得前向光流

“

°

和后向光流

，

然后执行前向

、

后向一致性检测

，

即对图像中的

每一个像素点

％

处的前向和后向光流值进行判断,

判断的标准为

||«''

(x)

+

m

b

(

x

+

w

'(

x

))||<«

(7

)

||w

R

(x)

+

(x

+

)

||

<

e

(8

)

式中

，

&为用户设定的一致性检验的误差阈值

，

若像

素点处的前向和后向光流值不满足上述等式

，

则确

认为异常值

。

3

结语

基于光流法的流体运动估计技术一直是各领域

的研究热点

。

相比

piv

图像测速技术来说,光流法

能够获得更加密集的运动矢量场且适用于不同类型

图像的运动估计

，

但是也存在不少困难和挑战

。

本

文从光流法的基本原理出发

，

对基于光流法的流体

运动估计技术进行了综述

，

阐述了光流法需要解决

的

4

个难点及解决方法

。

对每一个难点

，

虽然解决

和改进的方法都很多

，

并且都对流体运动估计的结

果有着不同程度的改善

，

但是依然存在以下需要进

一步研究的问题

：

1)

计算复杂度较高

。

与

PIV

技术一样

，

传统的

变分光流法缺乏物理解释

。

考虑到流体流动的物理

特性

，

不少研究利用流体力学相关知识对光流模型

的目标函数进行改进

，

如引入连续性方程和高阶

div-curl

正则化等

。

这些方法虽然能够提高运动估

计结果的精度

,

但是改进后的目标函数形式复杂

,

计

算复杂度高

。

针对该问题

，

找到良好的数值求解方

法是一项重要的研究内容

。

2)

大位移估计

。

大位移估计常用的是基于金

字塔的光流方法

，

但是有其自身的局限性

。

当位移

远大于颗粒尺寸时

，该方法不能给出有意义的结果

。

不少研究提出了基于相关方法和光流法的混合估计

方法

，

结合了相关方法和光流法的优势

，

可以处理大

位移图像并获得高分辨率速度场

，

但这种方法多限

于粒子图像的运动估计

，

因此将该方法用于其他类

型的流体运动图像

，

是未来值得探索的方向

。

3)

对光照变化的鲁棒性

。

亮度恒定假设在光

Vol.

26,

No.

2.

Feb.

2021

照变化条件下并不能满足

，

为了提高在光照变化情

况下光流算法的鲁棒性

，

采用了以下

4

种方法

：

(

1

)

使用高阶恒定性假设扩展依赖亮度恒定假设的数据

项

；

(

2)

提取图像中的光照不变特征用于数据项中

；

(3)

采用结构一纹理分解方法

；

(

4)

建立光照变化

的数学模型

。

但不同的方法在精度

、

鲁棒性

、

计算的

复杂度和计算效率方面具有不同的优势和缺陷

，

针

对该问题

，

可以通过结合不同方法的优势

，

开发出对

光照变化鲁棒的流体运动估计方法

。

4)

提高计算效率

，

实现实时估计

。

光流法需要

进行复杂的变分优化

，

计算效率低下,近年提出的一

些

GPU

并行算法虽然有效提高了计算效率但仍无

法实现实时估计，

最近发展起来的基于光流神经网

络的流体运动估计算法

(

Cai

等

,2019)

,

虽然能在一

定程度上实现实时性

,

但缺乏训练集且还不够成熟

，

因此提高流体运动估计算法的计算效率

，

实现实时

估计仍是未来值得研究的方向之一

。

参考文献

(

References

)

Adrian

R

J.

1991

.

Particle-imaging

techniques

for

experimental

fluid

mechanics.

Annual

Review

of

F'luid

Mechanics,

23

(

1

)

：

261

-304

[DOI

：

10.

1146/annurev.

fl.

23.010191.001401]

Ali

S,

Daul

C

,

Galbrun

E

and

Blondel

W.

2016.

Illumination

invariant

optical

flow

using

neighborhood

descriptors.

Computer

Vision

and

Image

Understanding,

145

：

95-110

[DOI

：

10.

1016/j.

cviu.

2015.

12.003]

Arnaud

E

,

MQmin

E

,

Sosa

R

and

Artana

G.

2006.

A

fluid

motion

esti

­

mator

for

schlieren

image

velocimetry//Proceedings

of

the

9th

Euro

­

pean

Conference

on

Computer

Vision.

Graz,

Austria

：

Springer

：

198-210

[DOI

：

10.

1007/11744023_16]

Bailer

C,

Taetz

B

and

Stricker

I).

2015.

Flow

fields

：

dense

correspon

­

dence

fields

for

highly

accurate

large

displacement

optical

flow

esti

­

mation/

/Proceedings

of

2015

IEEE

International

Conference

on

Computer

Vision.

Santiago

,

Chile

：

IEEE

：

4015-4023

[DOI

：

10.

1109/ICCV.

2015.457]

Battiti

R,

Amaldi

E

and

Koch

C.

1991.

Computing

optical

flow

across

multiple

scales

:

an

adaptive

coarse-to-fine

strategy.

International

Journal

of

Computer

Vision

,

6(2)

：

133-145

[

DOI

:

10.

1007/

WOO

128153]

Black

M

J

and

Anandan

P.

1996.

The

robust

estimation

of

multiple

motions

:

parametric

and

piecewise-smooth

flow

fields.

Computer

Vision

and

Image

Understanding,

63(1)

：

75-104

[

DOI

：

10.

1006/

cviu.

1996.0006]

Brox

T,

Bruhn

A

,

Papenberg

N

and

Weickert

J.

2004.

High

accuracy

364

第

26

卷

/

第

2

期

/2021

年

2

月

optical

flow

estimation

based

on

a

theory

for

warping//Proceedings

of

the

8th

European

Conference

on

Computer

Vision.

Prague

,

Czech

Republic

：

Springer

：

25-36

[DOI

：

10.

1007/978-3-540-24673

-2_3

]

Bruhn

A

,

Weickert

J

and

Schnorr

C.

2005.

Lucas/Kanade

meets

Hom/

Schunck

：

combining

local

and

global

optic

flow

methods.

Interna

­

tional

Journal

of

Computer

Vision

,

61

(

3

)

：

211

-231

[

DOI

:

10.

1023/B

:

VISI.

.

43199.43]

Cai

S

Z,

Memin

E

,

Derian

P

and

Xu

C.

2018.

Motion

estimation

under

location

uncertainty

for

turbulent

fluid

flows.

Experiments

in

Fluids

,

59(1

)

：

#8

[DOI

：

10.

1007/s00348-017-2458-z]

Cai

S

Z,

Zhou

S

C

,

Xu

C

and

Gao

Q.

2019.

Dense

motion

estimation

of

particle

images

via

a

convolutional

neural

network.

Experiments

in

Fluids,

60(4)

：

#73

[DOI

：

10.

1007/s00348-019-2717-2]

Cassisa

C

,

Simoens

S

,

Prinet

V

and

Shao

L.

2011

.

Subgrid

scale

formu

­

lation

of

optical

flow

for

the

study

of

turbulent

flow.

Experiments

in

Fluids,

51(6)

：

1739-1754

[DOI

：

10.

1007/s00348-01

1-1180-5]

Charbonnier

P,

Blanc-Feraud

L,

Aubert

G

and

Barlaud

M.

1994.

Two

deterministic

half-quadratic

regularization

algorithms

for

computed

imaging//Proceedings

of

the

1

st

International

Conference

on

Image

Processing.

Austin,

USA

：

IEEE

：

168-172

[DOI

：

10.

1109/ICIP.

1994.413553]

Chen

Q

F

and

Koltun

V.

2016.

Full

flow:

optical

flow

estimation

by

global

optimization

over

regular

grids//Proceedings

of

2016

IEEE

Conference

on

Computer

Vision

and

Pattern

Recognition.

Las

Vegas,

USA

：

IEEE

：

4706-4714

[

DOI

：

10.

1

109/CVPR.

2016.

509]

Chen

X,

Zille

P,

Shao

L

and

Corpetti

T.

2015.

Optical

flow

for

incom

­

pressible

turbulence

motion

estimation.

Experiments

in

Fluids,

56(1

)

：

#8

[DOI

：

10.

1007/s003484)14-1874-6]

Corpetti

T,

Heitz

D

,

Arroyo

G,

Memin

总

and

Santa-Cruz

A.

2006.

Flu

­

id

experimental

flow

estimation

based

on

an

optical-flow

scheme.

Experiments

in

Fluids,

40

(

1

)

：

80-97

[

DOI：

10.

1007/s00348-

005-0048

-y]

Corpetti

T,

Memin

总

and

Perez

P.

2000.

Estimating

fluid

optical

flow//

Proceedings

of

the

15

th

International

Conference

on

Pattern

Recogni

­

tion.

Barcelona

,

Spain

:

IEEE

:

1033-1036

[DOI

：

10.

1

109/ICPR.

2000.903722]

Corpetti

T

,

Memin

E

and

Perez

P.

2002.

Dense

estimation

of

fluid

flows.

IEEE

Transactions

on

Pattern

Analysis

and

Machine

Intelligence

,

24(3)

：

365-380

[DOI

：

10.

1109/34.990137]

Corpetti

T

,

Mdmin

总

，

Santa-Cruz

A

,

Heitz

D

and

Arroyo

G.

2003.

Opti

­

cal

flow

estimation

in

experimental

fluid

mechanics//Proceedings

of

the

7th

International

Symposium

on

Signal

Processing

and

Its

Appli­

cations.

Paris,

France

：

IEEE

：

633-636

[DOI

：

10.

1109/ISSPA.

2003.1224783]

Cuzol

A,

Hellier

P

and

M6min

E.

2007.

A

low

dimensional

fluid

motion

estimator.

International

Journal

of

Computer

Vision,

75

(

3

)

：

329-349

[DOI

：

10.

1007/sl

1263-007-0037-0]

Cuzol

A

and

Memin

¢.

2005.

Vortex

and

source

particles

for

fluid

motion

365

邵绪强

，

杨艳

，刘艺林

/

流体运动估计光流算法研究综述

estimation//Proceedings

of

the

5

th

International

Conference

on

Scale

Space

and

PDE

Methods

in

Computer

Vision.

Hofgeismar

,

Germa

­

ny

：

Springer

：

254-266

[DOI

：

10.

1007/1

1408031_22]

Demetz

O

,

Hafner

D

and

Weickert

J.

2013.

The

complete

rank

trans

­

form

：

a

tool

for

accurate

and

morphologically

invariant

matching

of

structures//Proceedings

of

the

British

Machine

Vision

Conference.

Bristol,

UK

：

BMVA

Press

：

50.

1-50.

12[

DOI

：

10.

5244/C.

27.

50]

Dorian

P,

Heas

P,

Herzet

C

and

MQmin

总.

2011

.

Wavelet-based

fluid

motion

estimation//Proceedings

of

the

3rd

International

Conference

on

Scale

Space

and

Variational

Methods

in

Computer

Vision.

Ein-

Gedi

,

Israel

:

Springer

:

737-748

[

DOI

:

10.

1007/978-3-642-

24785

-9_62]

Derian

P,

Heas

P,

Herzet

C

and

MGmin

£.

2013.

Wavelets

and

optical

flow

motion

estimation.

Numerical

Mathematics

:

Theory

,

Methods

and

Applications

,

6

(

1

)

：

116-137

[

DOI

:

10.

1017/

S1161]

Gadot

D

and

Wolf

L.

2016.

Patch

Batch

:

a

batch

augmented

loss

for

opti

­

cal

flow//Proceedings

of

2016

IEEE

Conference

on

Computer

Vision

and

Pattern

Recognition.

Las

Vegas,

USA

:

IEEE

:

4236-

4245

[DOI

：

10.

1

109/CVPR.

2016.459]

Gennert

M

A

and

Negahdaripour

S.

1987.

Relaxing

the

Brightness

Con

­

stancy

Assumption

in

Computing

Optical

Flow.

Massachusetts

No.

AI-MEMO-975.

Institute

of

Tech

Cambridge

Artificial

Intelligence

Lab

Hampel

F

R,

Ronchetti

E

M

,

Rousseeuw

P

J

and

Stahell

W

A.

1986.

Robust

statistics

:

the

approach

based

on

influence

functions.

Journal

of

the

Royal

Statistical

Society:

Series

D

(

The

Statistician

)

.35(5)

:

565-566

Heitz

D,

Heas

P,

Memin

and

Carlier

J.

2008.

Dynamic

consistent

cor

­

relation-variational

approach

for

robust

optical

flow

estimation.

Experiments

in

Fluids,

45(4)

:

595-608

[DOI

：

10.

1007/s00348-

00845674]

Heitz

D

,

Memin

and

Schnorr

C.

2010.

Variational

fluid

flow

measure

­

ments

from

image

sequences

:

synopsis

and

perspectives.

Experi­

ments

in

Fluids,

48

(

3

)

：

369-393

[

DOI

：

10.

1007/s00348-009-

0778-3]

Heas

P,

MQmin

总

，

Papadakis

N

and

Szantai

A

E.

2007.

Layered

estima

­

tion

of

atmospheric

mesoscale

dynamics

from

satellite

imagery.

IEEE

Transactions

on

Geoscience

and

Remote

Sensing

,

45

(

12

)

：

4087-

4104

[DOI

：

10.

11

09/tgrs.

2007.

906156]

Hom

B

K

P

and

Schunck

B

G.

1981

.

Determining

optical

flow.

Artificial

Intelligence

,

17(1/3)

：

185-203

[DOI

：

10.

1016/0004-3702(81

)

90024-2]

Jabid

T,

Kabir

M

H

and

Chae

O.

2010.

Local

directional

pattern

(

LDP)

—

—

a

robust

image

descriptor

for

object

recognition//Proceedings

of

the

7

th

IEEE

International

Conference

on

Advanced

Video

and

Sig

­

nal

Based

Surveillance.

Boston

,

USA

：

IEEE

：

482-487

[

DOI

:

10.

1109/

AVSS.

2010.

17]

Kadri-Harouna

S,

Derian

P,

HQas

P

and

M6min

£.

2013.

Divergence-

中国图象图形学报

JOURNAL

OF

IMAGE

AND

GRAPHICS

free

wavelets

and

high

order

regularization.

International

Journal

of

Computer

Vision,

103

(

1

)

：

80-99

[

DOI

：

10.

1007/sl

1263-012-

0595-7]

Kim

Y

H

,

Martinez

A

M

and

Kak

A

C.

2005.

Robust

motion

estimation

under

varying

illumination.

Image

and

Vision

Computing,

23

(

4

)

:

365-375

[DOI

：

10.

1016/j.

imavis.

2004.

05.

010]

Kohlberger

T,

Memin

£

and

Schnorr

C.

2003.

Variational

dense

motion

estimation

using

the

Helmholtz

decomposition//Proceedings

of

the

4th

International

Conference

on

Scale

Space

Theories

in

Computer

Vision.

Isle

of

Skye,

UK：

Springer

：

432-448

[

DOI

:

10.

1007/3-

54044935-3.30]

Li

X

Z,

Jia

S

M

and

Zhao

X.

2012.

Robust

optical

flow

estimation

for

illumination

changes//Proceedings

of

2012

IEEE

International

Con­

ference

on

Robotics

and

Biomimetics

(

ROBIO

).

Guangzhou

,

China：

IEEE

：

360-365

[DOI

：

10.

1109/

ROBIO.

2012.

6490993]

Liu

T

S,

Merat

A

,

Makhmalbaf

M

H

M

,

Fajardo

C

and

Merati

P.

2015.

Comparison

between

optical

flow

and

cross-correlation

methods

for

extraction

of

velocity

fields

from

particle

images.

Experiments

in

Fluids,

56(8)

:

#166

[DOI：

10.

1007/s00348-015-2036-l

]

Liu

T