博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Tensorflow Batch normalization函数
阅读量:6611 次
发布时间:2019-06-24

本文共 884 字,大约阅读时间需要 2 分钟。

Tensorflow Batch normalization函数

觉得有用的话,欢迎一起讨论相互学习~

参考文献

最近在运行程序时需要使用到Batch normalization方法,虽然网上有很多资料,但是说法各异而且没有完全准确的,很多使用了Tensorflow中TF.slim高层封装,自己不是很明白。现在我将自己搜集的资料进行整理,便于以后查阅。

Tensorflow中实现BN算法的各种函数

  • 在tensorflow中给出了几种实现batch-norm的方法:
  • tf.nn.batch_normalization 是一个低级的操作函数,调用者需要自己处理张量的平均值和方差。
  • tf.nn.fused_batch_norm 是另一个低级的操作函数,和前者十分相似。不同之处在于它针对四维输入张量进行了优化,这是卷积神经网络中的常见情况。而前者tf.nn.batch_normalization则接受任何等级大于1的张量。
  • tf.layers.batch_normalization 是对先前操作的高级包装。最大的不同在于它负责创建和管理运行张量的均值和方差,并尽可能地调用快速融合运算。通常,这个函数应该是你的默认选择。
  • tf.contrib.layers.batch_normbatch norm 的早期实现,其升级的核心API版本为(tf.layers.batch_normalization)。不推荐使用它,因为它可能会在未来的版本中丢失。
  • tf.nn.batch_norm_with_global_normalization 是另一个被弃用的操作,现在这个函数会委托给tf.nn.batch_normalization执行,在未来这个函数会被放弃。
  • keras.layers.BatchNormalization 是BN算法的Keras实现,这个函数在后端会调用Tensorflow中的tf.nn.batch_normalization函数。

转载于:https://www.cnblogs.com/cloud-ken/p/8566948.html

你可能感兴趣的文章
【转】聚集索引和非聚集索引的区别
查看>>
【转】mac os 安装php
查看>>
C# DllImport的用法
查看>>
Github-Client(ANDROID)开源之旅(二) ------ 浅析ActionBarSherkLock
查看>>
no identities are available for signing
查看>>
eclipse中如何去除警告:Class is a raw type. References to generic type Class<T> should be parameterized...
查看>>
Gradle脚本基础全攻略
查看>>
Django模版中的过滤器详细解析 Django filter大全
查看>>
Linux中使用pwconv实现passwd中密码到shadow
查看>>
Visual Studio 2017各版本安装包离线下载
查看>>
C#线程安全的那些事
查看>>
【论文笔记】Social Role-Aware Emotion Contagion in Image Social Networks
查看>>
rpm安装PostgreSQL
查看>>
k sum(lintcode)
查看>>
Android 控件属性
查看>>
【244】◀▶IEW-Unit09
查看>>
Unity5.1 新的网络引擎UNET(十五) Networking 引用--中
查看>>
用任务计划管理计划任务对付任务计划-禁止WPS提示升级
查看>>
Android——SlidingMenu学习总结
查看>>
React-Native 之 GD (十六)首页筛选功能
查看>>