owl's blog
0%

TensorFlow 1.简介

发表于 更新于 分类于 Valine：

TensorFlow基础介绍

1.基本结构

  • 计算图graph

表示计算任务

  • 会话Session

表示执行计算图的上下文，执行时需要初始化所有变量(initializer)，会话完成时需要关闭(sess.close)

  • 张量(Tensor)

表示数据，图中的线条。包括常量constant,变量variable,以及通过占位符(placeholder),其中占位符只在运行时才放入具体的值

  • 操作(op)

图中的节点,构建图包括构建数据(因为本身不保存数据)和完成计算，因此定义一个Tensor也是一个计算。

2.代码及运行方式

tf本身不完成运算，而是定义图来描述计算，把计算放在Python之外进行以提高计算效率

2.1 Tensor(张量)

张量是tensorflow里面的数据结构，可分为常量和变量，所有的数据都通过张量来表示，可以简短理解为多维数组。那么0阶张量表示一个数，1阶张量表示一个向量(即一维数组)，n阶张量表示n维数组。

张量主要保存了三个属性:1.名字，2.维度，3.类型

张量中并不是直接保存数据，而是保存数据的计算过程。如下：

1
2
3
4
5
6
7
8
9
import tensorflow as tf
a = tf.constant([1.0,2.0],name='a')
b = tf.constant([2.0,3.0],name='b')
result = tf.ddd(a,b,name="add")
print(result)

#输出结果为:
#<tf.Tensor 'add:0' shape=(2,) dtype=float32>

1
2
3
4
5
6
7
import tensorflow as tf
a = tf.constant([1.0,2,0],name='a')#定义常量a
b = tf.constant([2.0,3.0],name='b')#定义常量b

result = tf.add(a,b,name='add')
print(result)

  • 变量

    变量的声明函数tf.Variable()是一个运算，是一种特殊的张量

神经网络中的参数是神经网络实现分类或者回归问题中的重要部分，变量的作用就是保存和更新神经网络中的参数(边)。

tf.Variable是一个运算，运算的输出结果是一个张量，所以变量是一种特殊的张量。

定义一个2*3矩阵变量(元素值默认为0，标准差为2的随机数):

weights=tf.Variable(tf.random_normal([2,3],stddev=2))

变量一个小应用：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import tensorflow as tf

w1 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))

x = tf.constant([0.7,0.9])

a = tf.matmul(x,w1)
y = tf.matmul(a,w2)

sess = tf.Session()

sess.run(w1.initializer)
sess.run(w2.initializer)

print(sess.run(y))
sess.close()

2.2 Session(会话)

会话作用是执行定义好的运算，会话可以管理tensorflow运行时的所有资源。当所以计算完成后需要关闭会话回收资源。包含三个要点:

  • 定义会话对象(tf.Session)
  • 启动会话完成计算(run)
  • 会话关闭(sess.close())

使用会话如下：

1
2
3
sess = tf.Session()
sess.run(...)
ses.close()

可以使用python上下文管理机制自动关闭会话:

1
2
with tf.Sesssion() as sess():
    sess.run(...)

总结:

1
2
3
4
5
6
7
8
9
10
11
import tensorflow as tf

sess = tf.Session()
sess.run()
sess.close()

#以上代码等同于
with tf.Session() as sess()
    sess.run()


2.3 placeholder(占位符)

反向传播的机制就是迭代(循环执行某一个流程图)
image
如果每一次迭代都要用到常量，计算量就过大(一个神经元网络的训练过程需要几百万轮甚至几亿轮迭代)，placeholder相当于定义了一个位置，这个位置中的数据在程序运行时再指定。和张量一样，placeholder的类型也是不可以改变的。

  • 无placeholder的代码:
    在这里插入图片描述
  • 有placeholder:
    image
  • 总结:

placeholder通过一个指针来表示该节点的输入数据，这样可以在运行时再计算该节点的数据

比直接用张量来作为输入数据节省内存

需要在Session的run()中通过字典类型参数feed_dict赋值

2.4 initializer(初始化)

tf中变量是保存和更新神经网络参数的值，变量的操作分为变量定义和变量初始化

需要注意的是变量定义时只是给出变量赋值的方法，并没有被真正执行，需要通过会话初始化变量已完成赋值

1
2
3
4
5
6
7
8
w1 = tf.Variable(tf.random_normal([2,3],stddev=2)) #随机数定义
biases = tf.Variable(tf.zeors([3])) # 常数定义

w2 = tf.Variable(weights.initialized_Value()) #通过其他变量定义

sess = tf.Session()
sess.run(w1.initializer) #初始化
sess.run(w2.initializer)

2.5 graph(计算图)

计算图是tensorflow计算的流程图，里面包括数据和计算，其中节点代表数据，节点和节点直接的连线代表计算。可以通过不同的计算图来管理模型。

以下代码会发现不同计算图的变量值不一样，就说明不同的图是一独立的运算流程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import tensorflow as tf


#定义一个计算图g1，其中变量v的值为0
g1 = tf.Graph()
with g1.as_default():
    v = tf.get_variable("v", shape=[1], initializer=tf.zeros_initializer)


#定义一个计算图g2，其中变量v的值为1
g2 = tf.Graph()
with g2.as_default():
    v = tf.get_variable("v",shape=[1],initializer=tf.ones_initializer)
    
#读取计算图g1中v的值
with tf.Session(graph=g1) as sess:
    tf.initialize_all_variables().run()
    with tf.variable_scope("",reuse=True):
        print(sess.run(tf.get.variable("v")))
        
#读取计算图g2中v的值
with tf.Session(graph=g2) as sess:
    tf.initialize_all_variables().run()
    with tf.variable_scope("",reuse=True):
        print(sess.run(tf.get.variable("v")))